高性能计算机系统体系结构

高性能计算机系统体系结构和编程模型技术支持中心袁伟yuanwei@dawning.com.cn主要内容如何获得高性能计算高性能计算机的主要体系结构高性能计算的方法-获得高性能计算指令的方法机器并行性从CPU内部利用并行性: 增加主频率并增加IPC（每个时钟周期完成的指令数量）；增加双核和多核处理器的CPU主频率；指令级并行性导致处理器和复杂系统中功能部件的数量增加，导致晶体管数量，功耗和发热问题的增加，并且将受到物理限制上限的影响；获得高性能计算的手段，是指利用矢量流水线组件，特别是合适的矢量计算，获得高性能计算矢量计算矢量处理器；曾经很受欢迎设计困难，成本高，应用领域狭窄，矢量技术被其他新兴技术所遮盖；地球模拟器的影响为矢量处理技术带来了新的希望. 获得高性能计算的手段-获得高性能计算的手段-多处理器并行系统多处理器并行性主要受益于微处理器的发展；多处理器并行是构建强大系统的唯一方法. 多处理器系统和处理诸如地球模拟器之类的处理器技术的结合是矢量机和多处理器并行机. 如何判断高性能计算机的体系结构取决于处理器: 看一下处理器？处理器是否包含矢量流水线组件（如果有），那么是否是矢量机？它是否是微处理器，如果不是，它是具有特殊架构（例如IBM大型机）的机器吗？它是否是多处理器系统，如果是，它是并行计算机？如何判断高性能计算机的体系结构（如何判断高性能计算机的体系结构（续）查看内存寻址: 查看内存寻址: ？它是否具有单个内存寻址，是否所有处理器都在访问内存？相等，区分SMP和DSM（NUMA），进一步CC-NUMA，NCC-NUMA，如何判断高性能计算机的体系结构（如何判断高性能计算机的体系结构（续））看一下两者之间的联系节点（对于分布式存储多节点系统）: 查看节点间连接方法（对于具有分布式存储的多节点系统）: 节点之间的连接是否是常见的商用网络（以太网，Myrinet，Qsnet，Infiniband，SCI） ，如果是，则为集群系统，否则为MPP系统.

衡量系统性能的两个常用指标1）MIPS（每秒数百万条指令）: 理论计算: 处理器的时钟频率与每条指令（MIPS）所需的平均时钟周期（每条指令的周期）之比=时钟速率/ CPI =（指令数）/（CPU时间）？实际值: 对于一个应用程序（程序），指令数与运行时间之比MIPS'=（指令数）/（执行时间），以衡量系统性能. 两种常用指标（两种常用指标来衡量系统性能（ 2）MFLOPS（每秒数百万个浮点运算）: 理论计算: 系统的浮点计算组件每秒可以进行的浮点计算次数； MFLOPS =（浮点计算单元的数量）×N？ N是每个浮点计算单元在一个周期内可以执行的最大浮点操作数. 对于当前的普通微处理器，通常为1-4 ；？实际数值: 对于应用程序，浮点运算次数与运行时间之比； MFLOPS'=（浮动操作数）/（执行时间）MIPS和MLOPS指标的缺点不能完全表征系统的性能特征，甚至不能产生误解？ MIPS指标更适合事务处理，例如IBM的大型机（Mainframe），价格为1000万元的大型机（包括支持软件），MIPS的值一般为5-10，小于Pentium4的值数千元PC，可以看出使用MIPS比较不同类型系统性能的无用性； •不同的指令具有不同的功能和一条指令的复杂性； MLOPS指标也有类似的缺点； •非计算密集型应用程序（事务处理）对I / O的要求很高，而对计算密集型应用程序（图形程序）的要求很高.

用户对可靠性有特殊要求. ？应用程序要求不同，高性能计算领域也很难找到“通才”，每个人都有自己的长处. •某些特殊类型的计算机适合于特定的应用程序. 两个指标的缺点（续）2.理论计算与实际测试之间的区别？对于特定的应用，可获得的实际性能与理论峰值相差很大，即效率低的问题；效率应成为高性能计算的核心问题之一. 流行的高性能计算机体系结构并行矢量机SMP DSM（NUMA）MPP，该节点可以是单个处理器节点，也可以是SMP，DSM？簇？混合架构并行计算机系统结构？ Flynn分类: –SISD，SIMD，MIMD高性能计算机的结构，MISD？结构模型: –PVP，SMP，MPP，DSM，COW？内存访问模型: –UMA，NUMA，COMA，CC-NUMA，NORMAFlyn分类？ Flynn（1972）提出了指令流，数据流和多倍体的概念，将不同的计算机分为四类: -SISD（单指令单数据）-SIMD（单指令多数据）-MISD（多指令单数据）数据）-MIMD（多指令多数据）结构模型？ SMP: –对称共享存储: 任何处理器都可以直接访问任何内存地址，并且访问延迟，带宽和概率是相等的；该系统是对称的； –微处理器: 一般小于64； –处理器数量不能太大. 一旦使母线和交叉开关难以扩展； –示例: IBM R50，SGI Power Challenge，SUN Enterprise，Sugon One；共享存储对称多处理器系统（SMP）？ DSM: –分布式共享存储: 内存模块在物理上对于每个处理器都是本地的，但在逻辑上（用户）是共享存储；这种结构也称为基于Cache目录的非统一内存访问（CC-NUMA）结构；本地和远程内存访问的延迟和带宽不一致，请注意3-10倍的高性能并行编程； –与SMP的主要区别: DSM物理上在每个节点上分配了本地内存以形成共享内存； –微处理器: 16至128，数百至1,000亿次； –代表: SGI Origin 2000，Cray T3D；分布式共享存储多处理器系统（DSM）并行计算机系统（MPP）？ MPP: –物理和逻辑全部为分布式内存–可以扩展到成百上千个处理器（微处理器或矢量处理器）–使用高通信带宽和低延迟Internet（经过特殊设计和定制）–异步MIMD机器该程序由多个进程组成，每个进程都有自己的专用地址空间，以及进程之间传递消息的交互. –代表: CRAY T3E（2048），ASCI Red（3072），IBM SP2，Dawn 1000；集群系统（集群）？群集: –每个节点都是一台完整的计算机–每个节点都通过高性能网络相互连接–网络接口和I / O总线松散耦合的连接-每个节点都有完整的操作系统-Sugon 2000、3000，ASCI Blue Mountain（48 128路DSM Origin 2000，6144个处理器）内存访问模型NORMA: UMA: NUMA: 多处理器（单地址空间共享内存）多处理器（单地址空间共享内存）UMA: 统一内存访问NUMA: 非统一内存访问多计算机（多个地址空间非共享内存）多计算机（多个地址空间非共享内存）NORMA: 否-远程内存访问（UMA）？统一内存访问（UMA-统一UMA-访问内存访问）–所有处理器均共享物理内存，UMA: 这里甚至表示所有处理处理器对所有内存字具有相同的访问时间-每个处理器可以具有专用的高速缓存设备也可以通过共享内存中的共享变量以某种形式共享处理器之间的通信-这是由于资源的高度共享，类似的多处理器通常被称为紧密耦合系统（Tightly紧密耦合系统）和统一的内存访问（UMA）. 对称多处理器系统（对称多处理器）对称多处理器可以平等地访问所有设备. 所有处理器还可以执行执行程序，例如操作系统内核，I / O服务程序吗？非对称处理器系统（非对称多处理器）非对称处理器机器系统（仅一个或一组处理器（MP主处理器）执行操作系统并操纵I / O，其余处理器（与AP连接的处理器）不执行具有I / O功能非均匀存储访问（NUMA）？非均匀存储访问（NUMA-非均匀非均匀存储访问（NUMA非均匀（NUMA内存访问））-共享内存在物理上分布NUMA: 在所有处理中，所有本地内存的集合构成了全局地址空间-处理器访问内存的时间有所不同: 访问本地内存（LM）的速度更快，而访问设备也可以共享某种形式的非远程内存访问（NORMA）？NORMA — NORMA NoNo-Remote Memory Access –所有内存都是私有的，可以只能由其处理器访问-大多数处理器不支持远程内存访问NORMA: 结构模型----内存访问模型NUMA: UMA: NORMA: 多处理器和多计算机多处理器（共享存储）多计算机（分布式存储）UMA: NUMA: NORMA: 将几种架构功能与各种架构进行了比较？ SMP瓶颈正在访问内存带宽，通过增加Cache来减轻数据一致性问题，从而限制了可伸缩性（性能将大大降低）.

？ NUMA具有更好的可伸缩性高性能计算机的结构，并且具有与SMP相同的编程模式. 共享存储机可以各种编程模式运行程序，包括串行程序，共享存储并行程序和消息传递并行程序. ？共享存储计算机首先可以被视为具有扩展内存的串行计算机，它可以运行具有大量数据的串行程序，例如具有大量数据的应用程序. 利用多个处理器的并行处理性能，自动并行性（依赖于编译器）作用有限，并且需要其他编程应用程序，例如OpenMP. ？没有共享的机器，MPP和群集，具有最佳的可伸缩性，使用消息传递编程，可编程性不如OpenMP，还可以使用DSM软件来模拟共享存储（实际上，它仍然是通过消息传递，但是向上层开放）层），例如OpenMP / JiaJia（中国科学院计算研究所），性能会受到影响，但是您可以运行OpenMP应用程序. NUMA体系结构的缺点，尽管共享内存具有良好的可编程性，但是对于高性能计算应用程序来说，要确保高效率是非常困难的. 商业网络的主要连接方式: 千兆以太网，小带宽（理论值125MB / s），延迟35-45？ S; Infiniband； MPI乒乓测试带宽: 850 MB / s，MPI短消息延迟: <7 s； Myrinet: MPI乒乓测试带宽: 230 MB / s，MPI短消息延迟: 7 s； Qsnet: MPI乒乓测试带宽: 300 MB / s，MPI短消息延迟: 5 s； Qsnet第二代产品的带宽进一步增加，高达1.3GB / S，并且延迟可以减少到3-5？ S; SCI: MPI乒乓测试带宽: 320MB / s； MPI短消息延迟: 1-2？ S;专用连接？？？ NumaLink； （SGI）SP Switch，SP Switch2; （IBM）CrossBar； Cray互连； （Cray）50045040035030025020015010050 0 0 06/1993 06/1994 06/1995 TOP500主要制造商其他KSR自制的日立Intel TMC NEC富士通Sun HP SGI Cray Inc.IBM06 / 199606/199706/199806 / 199906/200006/200106/200206/200306/2004从头开始分析自制机器: 自制机器，使用产品组件（处理器，网络）必须是集群体系结构；惠普，IBM惠普IBM的份额增加了，集群架构机器主要由HP和IBM制造，集群架构和混合架构的增长； CGI公司的Cray Cray公司份额不断缩小，矢量机NUMA体系结构的回归，NUMA体系结构的回归；星座和集群之间的区别？两者都属于集群技术. •集群是指节点处理器少于16的集群系统； •星团是指节点处理. 它有16个以上的集群系统；高性能计算机的应用领域-事务处理事务处理一直偏向于SMP（对称共享存储多处理器）机器. 在高性能计算领域，多种架构共存，每种架构都有自己的优势.

在商业计算领域，IBM的大型机将以银行交易结算为代表的特定领域保持其市场，具有两个主要优势: 高可靠性和超级I / O性能（专用I / O通道）. SMP系统是主流，由大节点SMP系统组成的集群系统将继续进入企业，甚至是最保守的领域，例如银行和证券. 高性能计算机的适用领域-高性能计算MPP，cc-NUMA，PVP系统在大多数面向性能的应用程序中也具有优势. 由于无与伦比的性能价格比，集群系统将占据主流地位. 集群技术的趋势？ MPP / PVP在构建大型系统和应用程序饱和性能方有优势，并且那些拥有足够资金的人仍会选择；大型cc-NUMA系统将逐渐下降: 其优势是大的物理内存和大量的CPU. 对共享内存进行有效的编程对于用户而言是一项艰巨的任务. 并行计算的效率；不适合构建较大的系统；高价格和失去优势；？ SMP系统存在内存访问瓶颈，从而导致可伸缩性受限，不能用于构建更大的并行机（超过64个通道）. 哪些应用程序需要群集？高性能计算；取代传统的矢量机，MPP并行机，SGI的NUMA体系结构并行机；事务处理;替换大型机，传统的小型机？单台PC服务器（小型计算机）不能满足应用程序的性能要求，可以使用群集；集群成为性价比高的高性能计算机的主要架构，集群系统为高性能计算带来了前所未有的发展. 良好的群集兼容性，良好的应用程序可移植性；良好的集群可扩展性；易于维护和管理，运行和维护成本低；有效的投资保护；集群技术发展势头强劲，给传统的高性能计算机带来沉重压力，SGI面临破产保护；为什么要购买车队？集群不仅仅是多个服务器的堆栈. 从逻辑上实现单个系统映像；提供强大的计算资源库；从物理上讲，它可以实现灵活的分配方案，实现广泛的计算处理能力，而较少. 它是一台节点机，可以达到所有节点的处理能力；特别适合计算中心实现按需分配客户的计算处理请求. 是集群的流行事实证明，TOP500系统的体系结构统计信息于2005年11月发布. 体系结构星座MPP集群总数36,036,360,500份额％7.20％20.80％72.00％100％分布式存储多处理器系统的I / O性能: 性能瓶颈NFS和PVFS高性能计算机的CPU计算能力->网络（通信类Application）->内存> I / O已逐渐成为性能瓶颈；随着应用程序数据大小的增加，I / O成为性能瓶颈. 由于磁盘中机械组件的限制，访问等待时间性能每年增加约8％. 传输带宽每年增加20％，严重落后于其他组件；最小化瓶颈的影响，系统的均衡设计；散热也成为一个大问题；

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-225646-1.html