hadoop hbase hive 关系 记录一次MySQL两千万数据的大表优化解决过程，提供三种解决(8)

但是测试了几个，包括redis，效果都不是很理想，e1230，8g内存，82574l网卡，只能跑到5000次/秒左右，最后没办法，换成了apc和xcache自带的内存存储（忘了确切的名词了，类似于memcached）上面，虽然仅能存储k-v型的数据，但是对这个项目来说足够了，最终测试接近13000次/秒，瓶颈还在网卡跟不上，本机127.0.0.1的测试能达到10w以上，基本上达到了预期的效果。

在28度的空调室温环境下测试约2小时，惠普g42整个键盘区域的的散热能力表现一般，最高温度区域在左侧掌托处，高达40度的热量并不适合长时间的接触或操作。

“2003年的时候毛利率确实可以高达70%，但是自从c2c卖家开始涉水这一行业后，价格逐渐趋于透明化。

1.腾讯云DCDB

2.https://cloud.tencent.com/product/dcdb_for_tdsql

官方介绍：DCDB又名TDSQL，一种兼容MySQL协议和语法，支持自动水平拆分的高性能分布式——即业务显示为完整的逻辑表，数据却均匀的拆分到多个分片中；每个分片默认采用主备架构，提供灾备、恢复、监控、不停机扩容等全套解决方案，适用于TB或PB级的海量数据场景。

这样看来貌似问题是被我们解决了，但是我相信很多像我一样的兄弟，公司的机器不可能只有一两台，也不可能把公司所有的机器都按照这种方法一一来设定hosts文件。

注意事项五，隔天肯定露出倦容，肤色暗黄，但就是一个问题：大量的补水，但是睡眠是无法透支和补救的：定期做角质处理，或化妆水敷在脸上，年轻漂亮是资本。

给你点建议按问题顺序，3，但是我建议不到不得以情况下一般不要用。

因本次法律尽职调查的特定问题不包括华特城公司的主体部分，我们无法判断华特城公司是否存在对外投资、分支机构、注册资本验资、股权质押、查封等相关问题的情况，因此我们建议贵司要求华特城公司对于以上事项予以补充说明确认，并将前述相关问题无重大法律瑕疵作为交易对手方的承诺和保证事项，若因前述相关问题对收购项目的城市更新开发进程造成影响的，将由华特城公司方向贵司承担违约责任。

方案三详细说明：去掉mysql，换大数据引擎处理数据

数据量过亿了，没得选了，只能上大数据了。

开源解决方案

hadoop家族。hbase/hive怼上就是了。但是有很高的运维成本，一般公司是玩不起的，没十万投入是不会有很好的产出的！

云解决方案

这个就比较多了，也是一种未来趋势，大数据由的公司提供的服务，小公司或个人购买服务，大数据就像水/电等公共设施一样，存在于社会的方方面面。

国内做的最好的当属阿里云。

我选择了阿里云的MaxCompute配合DataWorks，使用超级舒服，按量付费，成本极低。

MaxCompute可以理解为开源的Hive，提供sql/mapreduce/ai算法/python脚本/shell脚本等方式操作数据，数据以表格的形式展现，以分布式方式存储，采用定时任务和批处理的方式处理数据。DataWorks提供了一种工作流的方式管理你的数据处理任务和调度监控。

当然你也可以选择阿里云hbase等其他产品，我这里主要是离线处理，故选择MaxCompute，基本都是图形界面操作，大概写了300行sql，费用不超过100块钱就解决了数据处理问题。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-92645-8.html