性能当然重要，但并行文件系统才是HPC运转的基础

性能当然重要，但并行文件系统才是HPC运转的基础

佚名 51cto 2016-08-18

每六个月发布一次的HPC 500强排行榜越来越受到业界广泛关注，尤其在近几年，连续数届荣登榜首的都是中国的HPC系统。

HPC(高性能计算)话题备受瞩目，不仅因为本土系统在业界博得好评，更重要的是高性能计算逐渐走进每个人的生活，并且发挥着不可或缺的作用。比如说金融、气象、能源、制造等行业中的很多企事业都在应用高性能计算，作为普通百姓的衣食住行，我们在刷卡购物、打电话、听天气预报、出门坐车时也已经在享受高性能计算所带来的准确与方便。

因此，今天越来越多的气象领域科研人员，以及海洋、地震等等领域的科研人员，开始了解云计算，了解分布式存储，并思考如何基于这些服务，进行海量气象数据的存储和查询方案设计。本文研究了如何提高预处理共轭梯度(preconditioned conjugate gradient，pcg)法计算大网络交流潮流时的并行性能，提出了一种新的并行处理方法--并行节...。今年云计算热度不减，公有云、私有云、混合云，各路豪杰都杀向了云计算iaas领域，一直主打高计算性能高可靠性的power也加入了进来，主打企业级市场的“象云”是由中兴通讯、企商、新云东方等在云计算细分领域有着各自丰富能力的厂商发起成立云计算平台，面向高性能企业级用户，与ibm、华胜天成、东软集团成立联合实验室，采用openpower架构，打造区首家基于openpower的公有云iaas提供商。

并行文件系统是HPC实现资源调度和性能优化的关键因素

在高性能计算领域，尤其以气象部门为例，很多天气预报的模式都是将任务分成多个小任务，最后通过网络将其归结到一起。并行计算快速进行，而相应的数据量也随之激增，这就需要有并行文件系统进行处理。

1.采用mpi与openmp编译提高计算集群的streambenchmark测试性能的方法，其特征是具体步骤为: 在计算集群中部署mpi环境，将openmp分别部署于计算集群中的各个计算机节点，运行计算集群，在mpi环境中可多线程并发运行程序，线程分配由人为操作来决定每个计算机节点上运行的线程数。 2.3 计算免费的远程教育课程，ieee计算机学会的权威性和影响力可见一斑，因此，作为中高级人才的培养和认证，ieee-cs 的csdp认证将是一个最权威的推荐和正确的选择。

中国气象局正研级高工洪文董说，“要实现HPC系统的科学计算的效能，就一定需要一个并行的文件系统。CPU需要通过并行文件系统将众多的存储硬件管理起来，尤其在气象领域，数据相互之间是有关联的，计算的结果之间要进行交换，这对于并行文件系统的要求就更高。”

因此，洪文董认为，一般的开源并行文件操作系统并不能满足科学计算领域HPC系统的需求，因为在科学计算领域，大多数时候文件系统存储的数据相互之间是需要相互影响的，即它们是分布共享并行文件系统，不像社会计算领域，如电信、网络、物流等，每个文件系统的数据相互之间没有关系，它们是分布并行文件系统。这两种模式对于文件系统的要求是完全不一样的。

本文研究了如何提高预处理共轭梯度(preconditioned conjugate gradient，pcg)法计算大网络交流潮流时的并行性能，提出了一种新的并行处理方法--并行节...。本文研究了如何提高预处理共轭梯度(preconditioned conjugate gradient，pcg)法计算大网络交流潮流时的并行性能，提出了一种新的并行处理方法--并行节点分配法，即将节点导纳矩阵和节点出力的数据以节点为单位分派给各个处理器，在各个处理器中完成余下的计算处理部分。并行目前的主要问题来自于它的设计目的，因为要实现完美的并行，因此它大多被设计为计算和存储紧密耦合，这样计算可以控制每行数据的存储位置和每个数据块的存储格式，这样对大任务提供了很好的性能（类比于“鱼”）。

共享存储文件系统（nfs），或甚至集群文件系统（如：ocfs2）主要被用于存储区域网络（所有节点直接访问共享文件系统上存储器），这就使得节点失效而不影响来自其他节点对文件系统的访问，通常，共享磁盘文件系统用于高可用集群。这种基于 linux集群技术构成的系统属于松耦合集群系统，不需要在集群中部署特殊的中间件层或者os扩展，对服务器结点 os的兼容性比较好。系统采用scale-out扩展方式，打破了传统san架构的扩展限制，性能和容量随存储节点的增加而线性增长，可以很好的满足石油勘探企业未来业务快速发展对存储空间和带宽的需求，避免因用户需求不断增长而带来的数据迁移和应用中断的问题，并可随需求变化动态调整资源、带宽、处理能力和存储容量，所有扩容操作均可进行，无须中断应用的正常执行。

同时，张云泉认为，现在大数据的发展，使得HPC的研究有了新的用武之地，产生了众多的新兴交叉学科。无论对于深度学习还是大数据分析、游戏而言，各种全新的应用对于HPC提出了全新的需求，这些对于HPC的存储系统，尤其是并行文件系统提出了各种挑战。

从高性能上看，GPFS即现在的IBM Spectrum Scale，通过将I/O分布在多个硬盘提高性能，能够高效工作在1个节点到4000多个节点的集群环境中，也能够很好地支持SSD盘和闪存阵列。

同时，可靠性是高性能运算的重中之重，在GPFS环境中，某一节点的硬盘连接丢失，不会影响到其他的节点高性能计算机并行文件系统，GPFS使用RSCT的功能持续监控不同文件模块的健康状态，当任 一错误被检测到时，相应的恢复动作将自动执行。GPFS还提供了额外的日志和恢复功能，可以维持元数据的一致性。最大三副本，可支持节点的自动Failover。相较于开源的CEPH，作为商用系统代表的GPFS，经历了大量的实践和检验，相对来说更加稳定和可靠。

洪文董认为，“从商用软件的角度来说，IBM的GPFS是并行文件系统中做得最成功的，也是业界做得最好的。”

IBM Spectrum Scale，以商业的可靠性满足多方高性能存储需求

而mpi仅仅是一个并行计算标准，没有相应的分布式文件系统的支撑，在大数据场景下大文件的存储及访问都会成为一个问题，同时用户还需要考虑集群节点之间的通信协调、容错等问题，这些使得mpi的编程难度比较大，集群本身的规模也很难做到像mapreduce那样的超。中博科创集群存储系统通过将文件副本复制并且存储在不同的节点上，在某一存储节点或某几个存储节点发生故障时，系统自动将读写指令导向其他存储节点上的文件副本，保持业务的连续性。集群渲染系统在运行过程中，需要频繁读取各种场景、贴图、材质等文件，同时还会生成大量的图片序列，因此，存储节点必须能够外挂大容量磁盘阵列以满足工作需要，负责整个集群渲染系统的数据共享、文件存储管理。

如同IBM软件定义解决方案的销售顾问蒋军华在沟通会上所介绍的，IBM光谱家族的Spectrum Scale，是一个为高性能计算设计的高可靠性并行文件系统，它不仅可以在一个高性能计算集群中实现多个计算节点的数据快速存取，还能够实现跨广域网的存储整合与数据共享，帮助用户形成统一的存储资源池，同时，它还解决了数据存储经济性的问题，依靠信息生命周期管理功能帮助用户实现数据的自动分层管理，保证存储资源的高效利用。这些对于高性能计算领域尤其是类似于气象预报等科学计算领域，有着非常重要的价值。

IBM Spectrum Scale是经验证、可扩展且高性能的数据及文件管理解决方案(基于 IBM General Parallel File System 或 GPFS，之前被称作代码名称 Elastic Storage)。 IBM Spectrum Scale提供世界级的存储管理功能，具有极致的可扩展性、闪存加速性能，以及基于策略的自动存储分层功能(从闪存、磁盘到磁带)。IBM Spectrum Scale可以帮助客户减少 90% 的存储成本，同时提高云、大数据和分析环境中的安全性和管理效率。

(3)可线性扩展性，系统有良好的线性扩展性，如果发现系统处理能力达到瓶颈，可以通过购买单一数据节点，并加入现有服务集群中就可以达到预期的扩容效果。google提出了一整套基于分布式并行集群方式的基础架构技术，利用软件的能力来处理集群中经常发生的节点失效问题。oracle rac的核心是共享磁盘子系统，集群中所有节点必须能够访问所有数据、重做日志文件、控制文件和参数文件，数据磁盘必须是全局可用的，允许所有节点访问高性能计算机并行文件系统，每个节点有它自己的重做日志和控制文件，但是其他节点必须能够访问它们以便在那个节点出现系统故障时能够恢复。

其次，IBM Spectrum Scale解决的是跨广域网的存储和数据资源整合，帮助用户形成统一的全局文件命名和数据管理。比如，广州遇到南方的暴雨天气期间，由于气象预报计算需求的增加，它需要借助北京的超级计算机计算南方的天气，这其中就涉及到数据的传输和同步。通过Spectrum Scale软件全面整合后能够策略化地去定义数据存放，根据每个气象计算算例后面附带数据量的大小，结合IBM Platform LSF调度软件决定该计算任务是在本地计算还是调度到远端计算，快速获取计算结果。

最后，IBM Spectrum Scale可以在生产环境下实现磁盘空间动态扩展及压缩。由于IBM Spectrum Scale通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。此外，IBM Spectrum Scale可以动态调整添加或者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-112470-1.html