鼠标与键盘雷锋网按：今年是微软亚洲研究院（MSRA）20周年(2)

传统开采方式下的人工采集、分析数据无法实现精细管理，亟待需要借助自动化、信息化技术，降低管理难度，提升油田生产经营水平。

互联网分析师钱皓认为,平台高增长原因在于,背后的物流、大数据等能力正在帮助品牌实现全渠道,同时帮助品牌重塑了链效率。

那么，数据智能领域的技术进展如何？未来，数据智能的研究又有哪些热点？

数据智能的技术进展

数据智能相关的核心技术大致可以分为数据平台技术、数据整理技术、数据分析技术、数据交互技术、数据交互技术、数据可视化技术等部分。与传统意义上的数据处理、数据分析相比，数据智能面临很多新挑战、新问题。在解决这些问题和挑战的过程中，各种技术创新层出不穷。

大数据系统与平台

为了支持的数据处理与分析任务，全新的数据存储系统需要能够容纳和支持高效数据吞吐、高可伸缩性和高容错性。传统的OLTP面向交易型需求而设计，无法满足大数据统计分析类的查询需求和应用。当前的大数据系统更加强调读写效率、数据容量以及系统的可扩展性。具体来说，将数据分割成块，并将每块复制多份后分散到不同物理机器上存储，用冗余的数据块来防止因个别机器损坏对数据完整性的影响。数据的冗余保存不但提高了系统的可靠性，同时也可以提高了系统在数据读取时的并发性能。另外，为降低成本，现代的大数据系统运行在价格相对低廉的普通服务器上；这些机器通过高速网络连接，实现高效的数据传输。

处理和分析大数据涉及大量的计算，催生了很多分布式NoSQL数据处理系统。在计算模型上，MapReduce的推出给大数据并行处理带来了革命性的影响。在MapReduce基础上进一步提出了新的计算模型Spark。Spark充分利用在内存中计算的优势，并且大大优化了原来MapReduce中Shuffle所带来的效率问题。经过几年的发展，Spark已经替代MapReduce成为业界最为重要的大数据处理框架，并且发展了非常丰富的应用生态。

此外，基于流 (Streaming) 的计算模型被开发出来以支持不断变化和更新的大数据应用。在流计算模型中，为了达到更实时的更新，每到达一个数据事件的时候就进行一次处理。Spark Streaming、Storm、Flink都是比较流行的流计算平台。

在支持对大数据进行交互式的查询和分析方面，来自不同领域的技术正在快速融合，共同构建更加实时高效的大数据交互查询平台。以ElasticSearch为代表的一类技术，借鉴搜索系统的索引构架和技术，对非结构化和半结构化数据进行分块、索引来支持快速查询。以Spark Kylin为代表的另一类技术则将传统的数据立方体技术推广到大数据领域，通过将预先计算的部分数据立方体缓存起来，大大提高了运行时的查询速度。

写作要点是：以绘图和（或）列表（必要时）等手段整理实验结果，通过数理统计和误差分析说明结果的可靠性、再现性和普遍性，进行实验结果与理论计算结果的比较，说明结果的适用对象和范围，分析不符合预见的现象和数据，检验理论分析的正确性等。

以前的数据是集中式的，未来认知计算时代下数据将变成分散式，如何利用新的技术，让这些计算能力从过去的模式变成未来有关认知的计算模式，这是ibm的发展方向。

同时，在云端搭建数据分析平台，运用云计算、大数据技术进行挖掘分析，发现和洞察法律服务热点问题、热点区域及发展趋势，自动生成公共法律服务数据分析报告，为全国公共法律服务有效开展提供数据支撑。

深圳发布的建设方案提出，要系统集成废弃物综合利用、污水处理、生态修复、生物治疗、大数据、云计算、人工智能等技术，实施资源高效利用、生态环境治理、健康深圳建设和社会治理现代化“四大工程”。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-90404-2.html