101-高性能计算机和集群系统

chenwei@dawning.com.cn概述集群系统中的高性能计算是什么？高性能计算HPC: 高性能计算高性能计算---并行计算并行计算（Parallel Computing）高端计算（High-end Parallel Computing）高性能计算（High Performance Computing）超级计算（Super Computing）什么是高性能计算？计算科学和传统科学，即理论科学和实验科学，被认为是人类对自然的理解的三大支柱. 它们相互补充，促进科学发展和社会进步. 在许多情况下，或者理论模型很复杂甚至没有建立理论，或者实验成本昂贵甚至无法执行时，计算成为解决问题的唯一或主要方法. 为什么要进行高性能计算？为什么需要高性能计算？从系统角度看，人类对计算和性能的需求是无止境的: 集成系统资源以满足应用程序不断增长的性能和功能要求的角度: 对应用程序进行适当的分解以实现更大或更详细的计算问题: 数值模拟以及科学和工程问题的模拟，计算密集型，数据密集型，网络密集型，三个混合轮廓集群系统. 什么是高性能计算机？它是由多个计算单元组成的计算机系统，计算速度快，存储容量大，可靠性高.

也称为: 超级计算机，超级计算机当前，任何高性能的计算和超级计算都与并行技术的使用密不可分高性能计算机系统，因此高性能计算机必须是并行计算机. 专用时代包括矢量机，MPP系统，SGI NUMA系统，SUN大型SMP系统以及我国的神威，银河，Dawn 1000等. 之所以将它们称为“专用”并不意味着它们只能运行某些应用. 这意味着它们的组件是经过特殊设计的. 他们的CPU板，内存板，I / O板，操作系统，甚至I / O该系统不能在其他系统中使用. 由于台式机系统和高端系统之间的巨大技术差异以及狭窄的用户群. 在普及时代，高性能计算机的价格下降，应用阈值降低，并且应用开始普及. 两种技术趋势起着重要作用. 商业化趋势使批量生产的商品零件接近高性能的计算机专用零件. 标准化趋势允许将这些部件集成到系统中，其中X86处理器，以太网，内存部件和Linux都起着决定性的作用. 集群系统是一种高性能的计算机，其技术基础和工业基础都已商业化和标准化. MPP，该节点可以是单个处理器节点，也可以是SMP，DSM星座高性能计算机制造商Flynn分类: SISD，SIMD，MIMD，MISD结构模型: PVP，SMP，MPP，DSM，COW内存访问模型: UMA，NUMA，COMA，CC-NUMA，NORMA Flynn分类Flynn（1972）提出了指令流，数据流和多倍性的概念，并将不同的计算机分为四类: –SISD（单指令单数据）– SIMD（单指令多数据）– MISD（多指令单数据）– MIMD（多指令多数据）现代高性能计算机属于MIMD.

MIMD可以分为结构和内存访问方法: –结构模型: PVP，SMP，MPP，DSM，COW –内存访问模型: UMA，NUMA，COMA高性能计算机系统，CC-NUMA，NORMA（SMP）SMP对称共享存储: 任何处理器都可以直接访问任何内存地址，并且访问延迟，带宽，概率都是对称的；-微处理器: 通常小于64；-处理器不能太大，一旦使总线和交叉开关难以扩展; –示例: IBM R50，SGI Power Challenge，SUN Enterprise，Dawning One； （DSM）DSM –分布式共享存储: 内存模块在物理上对于每个处理器而言都是本地的，但是在逻辑上（用户）是共享存储；这种结构也称为基于Cache目录的非统一内存访问（CC-NUMA）结构；本地和远程内存访问的延迟和带宽不一致，是高性能并行编程设计关注的3到10倍；-与SMP的主要区别: DSM物理上在每个节点上分配了本地内存以形成共享内存；-微处理器: 16-128，数千到数千亿美元-代表: SGI Origin 2000，Cray T3D； （MPP）通过使用高通信带宽和低延迟Internet（经过特殊设计和（定制））–异步MIMD机器，可以将MPP在物理上和逻辑上分布的内存扩展到成百上千个处理器（微处理器或矢量处理器）. 该程序由多个进程组成，每个进程都有自己的专用地址空间，并且在进程之间使用传递消息的交互； –代表: CRAY T3E（2048），ASCI Red（3072），IBM SP2，Dawning 1000（群集）群集-每个节点都是完整的计算-每个节点都通过高性能网络相互连接-网络接口和I / O总线是松散耦合的-每个节点都有完整的操作系统-Dawn 2000、3000， 4000，ASCI蓝山UMA: NORMA: NUMA: 多处理器（单个地址空间共享内存）UMA: 统一内存访问NUMA: 非统一内存访问多计算机（多地址空间非共享内存）NORMA: 无远程内存存取UMA: N UMA: NORMA: UMA: NUMA: NORMA: 多处理器（共享存储）多计算机（分布式存储）单位规模处理处理器数量无量纲时钟速率时钟周期长度的倒数MHZ工作负载计算操作的数量Mflop顺序执行时间数百万个浮点数每秒Mflop / s的操作加速度测量并行机的速度. 无量纲效率衡量处理器利用率无量纲峰值速度峰值所有处理器峰值速度峰值的乘积是一个处理器的峰值速度Mflop / s可达速度与峰值速度的利用率峰值比无量纲通信延迟传输长消息通信速率MB / s理论上计算: 处理装置的时钟频率与每个指令时钟速率（CPUtime）所需的平均时钟周期（每个指令的周期）之比实际值: 对于应用程序（程序），指令数与运行中的比率time MIPS'=（数量（执行时间）理论计算: 系统的浮点计算单元每秒可以执行的浮点计算的数量； FloatingPoint计算单元）NN是可以进行浮点运算的最大数量. 每个浮点计算单元以一个周期完成. 对于当前的通用微处理器，一般为1-4；实际值: 对于应用程序，浮点操作数与运行时间之比；浮动操作）（执行时间）不能完全表征系统的性能. MIPS指标更适合交易处理；不同的系统有不同的指令，一条指令的功能和复杂度也有很大不同，例如IBM的大型机（Mainframe），价格为1000万元的大型机（包括配套软件），MIPS值一般为5-10，少价值超过千元的Pentium4 PC；非计算密集型应用程序（事务处理）需要高I / O，而计算密集型应用程序（图形程序）需要高频率.

用户对可靠性等有特殊要求；应用需求是不同的，高性能计算领域也是“综合主义者”，它有自己的优势；一些特殊类型的计算机适用于特定应用. 理论计算与实际测试之间的差异对于特定的应用，可获得的实际性能与理论峰值相差很大，即效率低下的问题. 应用程序效率已成为高性能计算的核心问题之一，并引起了广泛关注. 在并行计算系统中，并行算法（并行程序）的执行速度是串行算法（串行程序）的加速倍数，即串行算法（并行程序）的加速比. 阿姆达尔定律适用于固定计算规模的加速比性能描述，古斯塔夫森定律适用于可扩展问题. 显然，当p，S = 1 / f时，即对于固定尺度的问题，并行系统可以达到的加速度上限为1 / f，这曾经触发了并行世界中某些人的悲观情绪. Gustafson并行计算是要解决的问题对于并行问题，可并行化部分的比例可以扩展. 当然，f越低，斜率越大，加速性能越好. Linpack使用主成分高斯消去法解决双精度密线性代数方法. 结果以每秒浮点操作数（触发器）表示. 包含三种类型的测试，问题的大小和优化选项是不同的: 100100测试，在此测试中，无需修改Linpack测试程序（包括注释行）10001000测试，在此测试中，允许算法和软件修改或替换，以及尝试利用系统的硬件特性来实现最高的性能.

但是，所有优化都必须保持与标准算法（例如高斯消除）相同的相对精度，并且必须使用Linpack的主程序进行调用. Linpack HPL测试对于大型并行计算系统测试，其名称为高性能Linpack（HPL），它是并行TOP500和国内TOP100排名基础的并行Linpack测试软件的第一个标准公共版本. 用户可以更改问题的严重程度. 有很大的优化空间. NAS并行基准测试的每个基准测试分为五个类别: A，B，C，D，W（工作站）. A是最小的，而D是最大的. NPB套件输出结果每秒可进行数百万次操作. 整数排序（IS）快速傅立叶变换（FT）多网格基准（MG）共轭梯度（CG）基准稀疏矩阵分解（LU）五对角方程（SP）和块三角形（BT）解决密集平行（EP）最新发展高性能计算机中的高端产品真正是高端产品: 低端产品: 从纯粹的性能关注到对高性能与高性能，硬件构造与综合构造轮廓集群系统（群集）的综合评估，使用标准网络服务器或PC连接在一起可以为用户提供更高的计算能力和存储容量，并为用户提供单个系统映像系统.

使用集群系统时，单个系统映像用户感觉就像在使用单独的计算机系统. 单系统映像实现方法: 硬件层，操作系统层，软件层，更多的应用程序支持集群，越来越多的应用，越来越多的应用领域，数学遗传信息，天气预报，生物物理石油勘探信息服务，汽车制造，造船1993年— 2010年TOP500架构师计数共享集群415 83.00 MPP83 16.60星座总数500强100％TOP500排名（2010年11月）

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-271835-1.html