大数据和高性能计算

TOPIC特殊的大数据和高性能计算陈文光清华大学计算机科学与技术系，北京100084，大数据和高性能计算都是计算机技术发展的产物. 高性能计算主要使用模拟方法，这被称为科学发现的第三范式. 大数据主要是从数据中总结出规律，即使对研究对象缺乏深入的了解，也可以发现某些相关性，这被称为科学. 发现了第四个范式. 从研究范式，主要应用类型以及计算机硬件和软件系统的角度，描述了大数据与高性能计算之间的关系. 关键词大数据；高性能计算；并行和分布式计算；大数据与高性能计算的关系陈文光清华大学计算机科学与技术系，北京100084摘要大数据与高性能计算（HPC）都基于计算机技术. HPC的主要方法是模拟，这被称为科学发现的第三范式. 大数据即使没有足够的研究对象知识，也可以探索数据之间的相关性，这被称为科学发现的第四范式. 比较了大数据和HPC在几个方面，例如研究范式，主要应用领域和底层硬件/软件系统. 关键词大数据高性能计算并行与分布式计算相关性2015003-1大数据研究大数据子范式的干扰第二范式这是一种理论方法，即通过1引言，科学发现是改善人类生活的最重要基础，例如化学和农业技术使人类能够获得稳定的食物来源. 数学和力学的发展使人类得以建造房屋. 抗生素的发现和双盲试验使人类摆脱了传统医学的困扰. DNA的发现也标志着人类对自己的理解的实现. 达到新的高度.

由重大科学发现触发或促进的现代科学技术的发展，以令人难以置信的速度改善了人类的生活条件，并促进了社会进步. 例如，平均预期寿命是人类社会发展程度的标志性指标，如图1 [1]所示. 可以看出，在20世纪初期，全球平均预期寿命仅为30岁左右；而在20世纪初，全球平均预期寿命只有30岁左右. 2010年，全球预期寿命达到67.2岁，许多发达国家的平均预期寿命已超过1 wikipedia.org/ wiki / Life_expectancy数学方法. 随着计算机技术的出现，人们开始通过计算来模拟复杂的系统，从而产生了科学发现的第三范式，而科学工程问题的模拟催生了高性能计算. 大数据提供对于进一步的科学发现机会，吉姆·格雷将直接从数据中总结定律，这被称为科学发现的第四种标准形式[2]. 高性能计算和大数据都是计算机技术发展的产物，两者之间存在着差异和紧密联系. 扩大关系. 2高性能计算高性能计算主要面向具有挑战性的科学和工程问题，例如飞机设计，天气预报，全球气候变化模拟，核聚变模拟，新材料设计，药物设计和人类基因组[3].

高性能计算主要使用数值模拟方法，这是科学发现的第三个范式. 以气象预报为例，首先，气象科学家将气象预报问题抽象为地表，云层与太阳之间的物理过程和相互关系（如图2所示），然后经历了801年代. 对人类而言很重要，那么导致这些科学发现的因素是什么，是否存在科学发现的“模型”？几千年来，人们逐渐总结了几种科学发现范式: 第一种范式是实验方法，即通过实验验证假设的科学发现方法. 实验方法的一个非常重要的部分是控制实验条件以排除每项出生时的非实验预期寿命80 80岁/年70 60 50 40 30 20 10 1820 1830世界发达国家1840185018601870870188018901900191019201930194019501960197019801990年图1人类预期寿命2015003-220000主题1820-2003年描述为流体动力学和热力学方程的主题问题，使用各种气象观测数据获得初始条件（数据同化后），然后使用计算机通过数值模拟对方程进行求解以获得预测值

药物设计是使用分子动力学方法来筛选大量药物分子，计算候选药物在特定靶标上的活性，并在进入实验筛选之前筛选具有较高活性的药物. 可以看出，科学和工程学的高性能计算是在对要解决的科学或工程学问题有相当了解的情况下进行的，也就是说，它已经能够为研究对象建立数学模型并理解相应的数学模型. 理化过程的原理. 由于系统的复杂性，这些方程通常无法解析求解，因此需要数值模拟方法来求解方程. 数值模拟方法的重要性显而易见. 对于许多无法解决的复杂问题，数值模拟方法为研究问题提供了一种新方法，例如天气预报和气候变化研究. 科学家无法验证地球上的控制条件来验证相关猜想. 对于新药筛选的此类问题，尽管可以通过实验方法获得候选药物对靶标的活性，但筛选大量药物的成本非常高，时间也很长. 数值模拟可以有效降低药物筛选成本，加快筛选速度. 解决主要挑战所需的计算量和内部存储器通常非常大. 以气候模拟为例，需要将云模型的网格尺寸细化为小于1.5 km，并且模拟时间应小于实时的1/1 000，以满足气候模拟研究人员的准确性和速度要求.

要达到此要求，需要200 PFLOPS（1 P = 10，FLOPS为每秒15. 中尺度天气预报的GRAPES模型中描述的复杂物理过程及其相互作用关系，容错能力，功耗，可编程性高性能计算机通常使用高质量的服务器节点和高速专用网络，这对系统的绝对性能有很高的要求，代表性的软件包括用于GPU的并行编程模型MPI和OpenMP. 截至2015年4月，世界上最快的高性能计算机是中国的天河2号. 该系统由国防科技大学开发，目前已安装. 该系统由16000个节点组成，每个节点具有2个通用处理器和3个加速卡，共有1.4 PB内存和12.4 PB外部存储系统，互连网络使用由国防科技大学TH Express-2独立开发的高速专用网络，系统峰值速度达到5.49 PFLOPS，总体功耗达到24兆瓦（包括冷却部分）. 我们可以看到，即使是银河系第二号计算机，例如世界上最大的超级计算机，其对计算能力和全球气候模拟精度的要求仍然存在很大差距.

浮点运算时间>的峰值性能和超过10 TB的内存，远远超过了融等领域. 农业部门正在扩展. 本文主要讨论大数据的一个重要特征，即基于数据的规则发现，这是科学发现的第四范式. 应该注意的是高性能计算机采用，尽管大数据强调“大”，但是基于数据规则的发现并不一定需要非常大量的数据，而且这种方法甚至不需要计算机.

例如，开普勒从Tycho对行星的观测中总结了开普勒的三个定律，这为牛顿数十年后发现引力定律提供了基础. 这是从数据中发现规律的经典案例. 随着信息技术的发展，特别是近年来互联网和物联网的飞速发展，产生，收集和存储了大量数据. 迫切需要使用有效的分析方法从数据中挖掘出有意义的规律，并从数据中发现规律的可能性. 性别和重要性大大增加，这也是近年来大数据出现和普及的重要原因. 这种从数据中挖掘规则的方法具有两个明显的特征. （1）遵守的规则可能是概率性的，而不是确定性的. 例如，通过研究基因与乳腺癌之间的关系，从数据中发现“ BRCA1基因突变的人患乳腺癌的风险为55％至65％”. 这是一个非常有意义的规则，因为没有相关基因. 突变体患乳腺癌的风险要低得多. 实际上，著名电影明星安吉丽娜·朱莉（Angelina Jolie）发现了自己的BRCA1基因突变，然后通过切除了她的乳房. 但是，此规则不是决定性的. 甚至具有BRCA1突变基因的人仍有40％的机会不生病.

（2）从数据中总结出的定律在许多情况下，只有2015003-4是相关定律，而不是因果关系. 例如，通过分析历史数据，发现当时的全球平均温度与二氧化碳浓度正相关，即，当二氧化碳浓度高时，全球温度也高. 然而，仅基于温度和二氧化碳浓度的数据分析，不能推断出二氧化碳导致温度升高，因为温度还有可能导致二氧化碳浓度升高. 如果没有进一步的研究工作来解释二氧化碳引起的温度升高的机理，则只能获得相关性，而不能得出因果关系. 当然，在许多情况下，仅相关就足够了. 例如，通过数据分析，超市发现购买手电筒的人经常购买蛋t. 尽管他们不知道原因，但是他们仍然可以将这两种产品放在一起以增加销量. 因此，关注相关性而非因果关系是大数据的重要特征. 但是，在使用从大数据分析得出的相关性时，我们需要注意建立相关性的条件. 例如，如果所有数据都是春季数据，那么获得的相关性是否适用于秋季？可以看出，基于大数据的第四范式与基于高性能计算的第三范式明显不同. 第三范式通常对研究对象有深刻的理解，其行为可以用方程式描述. 该模拟仅用于求解复杂的方程. 第四范式可能不是很熟悉研究对象，只是一些观察数据，但是希望可以从这些数据中找到相关定律.

从大数据定义中的3V可以看出，单台计算机通常很难支持大数据分析所需的计算能力，内存容量和存储容量，因此大数据分析平台也自然而然地使用分布式系统当系统执行并行计算时，它还会遇到高性能计算也遇到的诸如算法收敛，执行不确定性，负载平衡，容错，功耗，可编程性和通信开销等问题. 与高性能计算不同，大数据最初主要由Google和Yahoo等互联网公司驱动. 它的硬件平台主要通过普通的以太网通过廉价服务器连接，这与使用高质量服务器和高速专用网络连接的高性能计算机不同. 因此，与高性能计算相比，TOPIC特殊的大数据处理软件更加注重系统的可扩展性和容错能力，而较少关注系统的绝对性能. 它的代表性软件平台是Google的GFS和MapReduce / BigTable / Spanner，以及开源的Hadoop和Spark系统. 会计[2]. 从硬件平台的角度来看，现有的普通服务器和网络在处理频繁通信的大数据问题时效率不高，而高性能计算机由于具有高性能的计算节点和高性能，因此在处理此类问题方面更为有效. 加快专用网络的速度. 高效.

例如，千兆仍广泛用于大数据平台，只有少数几个使用10千兆4大数据和高性能计算进行相互参考和融合. 表1从研究范式，应用领域，硬件的角度进行了比较. 平台和软件平台大数据和高性能计算. 尽管表1在许多方面列出了大数据和高性能计算之间的显着差异，但是在这两个方面存在许多共性，并且存在相互学习和集成的趋势. 就研究范式而言，科学发现通常是多种范式的组合. 大数据分析发现的相关性不包括因果关系，但为进一步发现因果关系提供了基础. 例如，在BRCA1基因突变可能导致乳腺癌后，进一步的研究可以集中在由BRCA1基因突变引起的生物学过程上，并为研究乳腺癌的机理提供更清晰的途径. 另一方面，在吉姆·格雷（Jim Gray）对第四范式的介绍中，我们相信第四范式实际上是结合了实验，理论和模拟的前三个范式，也就是说，可以通过实验或模拟获得数据，大数据算法和理论本身将被使用，特别是集成网络，高性能计算机已经开始使用带宽为40〜56 Gbit / s的InfiniBand，并在广播，多播等操作中提供硬件优化和协议. RDMA（远程直接内存访问）快速通信机制.

因此，大数据处理也已开始从高性能计算机的硬件平台技术中学习. 例如，Oracle推出了Exadata，这是一种大数据多合一机器，它使用高性能节点，高速专用网络InfiniBand和高速存储2. 在软件级别，许多大数据算法可以表示为稀疏矩阵运算，并可以通过G PU等进行加速，而高性能计算具有用于稀疏矩阵CPU和GPU加速的良好软件库，可以用来加速大数据算法. 许多研究人员发融和普通企业的廉价商用服务器以太网，网络延迟100μs，带宽100 Mbit / s〜1 Gbit / s专注于容错和可扩展性高性能计算的数值模拟，例如Hadoop和Spark（第三范式）科学和工程学高性能服务器节点和高性能高速专用网络，网络延迟1μs，带宽40〜56 Gbit / s，专注于执行效率MPI，OpenMP，Lustre等主要软件平台2015003-5大数据研究的大数据思路.

在诸如天河2之类的P级系统中，整个系统的平均无故障时间通常不超过10小时，但是传统的高性能计算（MPI）编程模型的容错成本为太高了，通常保存检查点的方法通常是它将带来大量的I / O，这不仅具有较大的开销，而且会影响系统的稳定性并提高系统的故障率. 使用编程系统和算法来提高容错效率是高性能计算发展的重要方向. 此外，大数据方法用于分析高性能计算系统运行过程中产生的事件记录，可以有效地预测系统中可能发生故障的组件，从而采用主动容错方法，并采用当未发生故障时采取措施，以减少故障程序操作带来的开销[5]. 参考[1]即时消息. 世界形势的改善: 为什么我们在更清洁的生活环境中生活得更长，更健康，生活更舒适. 瓦辛顿（Wa shington）: 研究所所长，2006年. [2] Hey H，Tansley S，TolleK. 第四段: D在发会网络基础设施顾问委员会大挑战最终报告专家委员会. TaskForceReport _ ra ndCha llenge s.pdf，2011 [4] Ky rola A，B lelloch G，G uestrinC. GraphChi: 仅在PC上进行图形计算. 第10届USENIX操作系统设计和实现研讨会论文集，美国好莱坞，2012年，[5]徐伟，黄凌，Fox A等. 通过挖掘控制台日志来检测系统问题. 继续进行第22届ACM操作系统原理研讨会，美国蒙大纳州Big Sky，20095，尽管它起源于不同的研究范式，但它是利用法律发现和预测法律的一种方法. 尽管它们在研究范式，应用领域，硬件平台和软件平台方面有所不同，但它们面临相似的技术挑战. 在这两个领域中，也有相互学习，共同发展和融合的趋势.

大数据与高性能计算的融合有望为人类提供更强大的科学发现工具，改善人类生活并促进社会发展. 关于作者陈文光，清华大学计算机科学与技术系教授，ACM中国理事会副主席，中国计算机计算学会杰出会员和杰出演讲者，副秘书长，YOCSEF名誉会员，编辑《 ACM中国杂志》主要研究领域首席研究员，面向操作系统，编译器和并行计算. 收到的日期: 2015-05-06;修订日期: 2015-05-08论文引用格式: 陈文光. 大数据和高性能计算. 大数据，2015003 Chen W G.大数据与高性能计算. 大数据研究，20150032015003-6

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-217093-1.html