从超算榜TOP500看Cluster和MPP架构在超算系统中的实际应用

随着后续软体资源的快速配套和并行集群计算技术的加速发展，cpu/gpu异构式超算已经成为整个hpc界的事实标准体系，从最早的tsubame1.2到连续green500测试头名的tsubame-kfc，目前全球几乎所有高性能超算系统都是此架构的支持者，matsuoka博士也因此获得了象征超级计算机领域个人最高荣誉的sidney fernbach award。这个混搭架构主要的核心是新一代的mpp并行集群+hadoop集群，再加上一些内存计算、甚至流计算技术等。并行计算系统既可以是专门设计的，含有多个处理器的超级计算机，也可以是以某种方式互联的若干台的独立计算机构成的集群。

在前十名中，有4台采用的是Cluster，6台采用的是MPP。

第一名，美国Summit超算采用的是Cluster，第二名中国太湖之光采用的是MPP架构。

bandwagonhost（搬瓦工），美国it7主机商旗下的便宜vps品牌，提到便宜vps主机我们肯定会想到这个商家，在一定程度上，不少便宜美国vps商家推出便宜vps也都是由bandwagonhost商家带动的，目前有提供openvz、kvm架构的vps，8个数据中心，其特点在于多机房，而且机房之间可以相互切换。其实寄存器架构和栈式架构之间最本质的区别还是二者之间使用的指令集不同，在8.2.1节中笔者曾为大家讲解过什么是本地机器指令，指令通常由操作码和操作数两部分构成，操作码决定了指令需要执行什么样的功能，而操作数则指定了需要参与运算的操作数，以及从哪里获取操作数、将运算结果存储在哪个位置（寄存器还是栈中）等。目前主流的cpu处理器都采用了冯洛伊曼架构或者哈佛架构,那么这和x86\arm架构的关系是什么呢, 冯洛伊曼和哈佛这两个架构指的是cpu架构,是控制数据和代码存储的架构. 而x86和arm架构指的的cpu控制指令的集合,每一个指令代表cpu内部设计的一个硬件电路实现.在具体分析x86和arm架构前先分析下cpu存储架构:。

当前HPC的主要架构包括Cluster集群和MPP（并行处理）两种。

Cluster集群架构是目前最广泛的超级计算机架构。

典型的HPC集群系统主要由五类计算（或网络）设备和三类网络组成。

五类设备主要是指管理节点及登录节点、计算节点、交换设备、I/O设备和存储设备。当前有很多高性能服务器都采用CPU+加速处理器异构的方式，因此有些集群系统还包括加速节点。

1）登录节点

就是它要比前面这几个增加了两个非常明显的特征第一，负载均衡，第二，就是故障恢复所谓负载均衡，就是说多个点是可以一起进行的，故障恢复，任何一个节点宕掉以后，都不会影响到用户的继续使用这就是要讲的一个核心kb的集群，它是基于一个共享，由多个节点共享磁盘，在共享磁盘上有着必须要的软件，数据软件等等，除此之外高性能计算机 架构，这里面显示的叫做集群控制软件，这个文件的用处在什么呢。就是说它是作为集群件的一个注册表的一个信息然后我们这个集群，各个节点之间，其实它是由两条网络进行搭建的，分别是外网还有内网外网是处理用户的需求的，也就是所有的用户的请求，统一是从外往这边进入的内网是集群节点之间的一个通信的一条通道多活集群，就是说它的每一个节点都是可读可写，可以同时读写在我们的集群中，我们刚才说过，我们有一条内网，它是用于处理数据在节点之间的传输在多个节点中，如果我想要获取的这个数据块已经在别的节点中了，那么我不需要将对应的数据块刷回到磁盘，我再从磁盘进行读取，而我的这种处理方式是直接通过内网将这个数据块传输过来这样就减少一个io的消耗这种技术，在我们称为一种缓存的融合技术也就是说，多个节点的这种内存，我们可以把它当成统一来处理实现缓存融合需解决问题第一， 多个节点有可能会同时共同读取数据块。oracle rac的核心是共享磁盘子系统，集群中所有节点必须能够访问所有数据、重做日志文件、控制文件和参数文件，数据磁盘必须是全局可用的，允许所有节点访问，每个节点有它自己的重做日志和控制文件，但是其他节点必须能够访问它们以便在那个节点出现系统故障时能够恢复。

登录节点一般对计算性能要求不高，整套集群根据需求配置数台机架式服务器即可。

2）管理节点

管理节点是集群系统各种管理措施的控制节点。

3）计算节点

整个集群的计算核心。有胖节点（多路）和瘦节点（双路）之分。

4）异构节点

通常异构节点同时使用CPU、GPU或MIC，可以大幅度提升计算效率。

5）交换设备

集群各节点之间需要通过网络连接在一起。

6）I/O设备和存储设备

存储数据和提高读/写带宽。

7）管理网络

分布式内存系统中节点间通信延迟不超过1us，高负载通信延迟不超过10us，带宽可扩展，8节点带宽不低于40gb/s。2. 保底1t防御带宽，需要时可从任意集群内的节点调度带宽。zookeeper的设计初衷是，每个znode只存放少量的同步数据(一般一个节点上的数据小于1m)，如果存储了大量数据，导致 zookeeper每次节点发生变更时需要将事务写入存储设备，同时还要在集群内部复制传播，这将导致不可避免的延迟和性能问题。

8）计算网络

用于各计算节点的互连，是并行任务执行时的进程间通信的专用网络，并行计算的核心就是它和集群内其他节点交换信息的能力，通常称为IPC。

计算网络现在多用InfiniBand网络或者万兆以太网等。

9）存储网络

存储网络需要向HPC集群的节点提供数据访问服务。

有两种方法访问数据：一是数据由外部文件系统提供文件级别的访问高性能计算机 架构，包括网络附属存储；二是数据块级别的访问，包括直连式存储或存储区域网络可以分别使用基于SCSI或SCSI RDMA协议的光纤通道或IB存储。

MPP是 Massively Parallel Processing的缩写。

MPP 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。

总结：

每个vps的运行和管理都与一台独立主机完全相同，都可分配独立公网ip地址、独立操作系统、独立超大空间、独立内存、独立cpu资源、独立执行程序和独立系统配置等。每个vps都可分配独立公网ip地址、独立操作系统、独立超大空间、独立内存、独立cpu资源、独立执行程序和独立系统配置等。a1 a2 a3 b1 a1 a2 b2 a3 b3 b1 b2 b3 线程b的程序顺序 线程a 的程 线程b的程 序顺序不变 序顺序不变 特性1 java 内存模型是一张契约 内存模型屏蔽不同 编译器和处理器之 程序员 间的差异，为程序 员提供一致的内存 程序员依据内 可见性保证 存模型来编程 java 内存模型内存模型限制编 内存模型限制处 译器的重排序 理器的重排序 编译器 处理器 oracle hotspot sparc ibm j9 x86 旧内存模型的结构此范围内的操作 主内存执行read操作，经过 此范围内的 主内存执行read操由线程执行 一段时间后，由线程执行相 操作由主内 作，经过一段时间 应的load操作 后，由线程执行相 存执行 应的load操作线程执 线程的 主内存行引擎 工作内 变 use 存 load 量 read 变 量 变 assign 量 store 变 write 变 量 量 变 变 量 量 线程执行执行assign操作， 线程执行assign操 经过一段时间后，由主 作，经过一段时 变 量 的 内存执行相应的write操 作 间后，由主内存 working copy 执行相应的write 变量的masting 操作 copy 旧内存模型的规则。

迭代处理：mapreduce模型理论上需要连续启动若干作业才可以完成图的迭代处理，相邻作业之间通过分布式文件系统交换全部数据。如果两个相等的元素没有相邻，那么即使通过前面的两两交换把两个相邻起来，这时候也不会交换，所以相同元素的前后顺序并没有改变，所以冒泡排序是一种稳定排序算法。 开发了用于并行处理的多处理操作系统、专用语言和编译器等和编译器等，pdp-8）），vax9000）并行计算机并行计算机并行计算机）器、并行计算机开发了用于并行处理的多处理操作系统、专用语言第五代计算机系统主要特征（第五代计算机系统主要特征（intel paragon）&bull。

主要的变体是SIMD（单指令多数据）和MIMD（多指令多数据）。在SIMD系统中，每个处理器同时执行相同的指令，仅在不同的内存位上执行。本质上，只有一个程序计数器。在MIMD机器中，每个CPU都有自己的PC。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-117947-1.html