高性能计算和高性能计算机

高性能计算和高性能计算机赵崇山2007-08-10目录并行计算概述高性能计算机体系结构并行编程简介高性能计算机组并行计算应用模型环境科学全球气候污染运输公共安全与管理燃烧现象城市交通仿真工程多物理场问题流体力学（CFD）结构力学（CAE）生物药物设计遗传学实验物理学有争议的应用新材料设计辐射传输宇宙演化数值模拟实验危险实验困难实验昂贵不可能的实验计算了解世界的主要手段. 并行计算的功能减少了解决单个问题的时间，增加了解决问题的规模，提高了解决问题的准确性（多台机器同时执行多个串行程序），容错能力，更高的可用性并提高了吞吐量. 需求并行化的主要方法是: 根据问题解决过程进行划分和征服，根据数据的处理方式将任务分为几个子任务（任务级并行或功能并行），形成多个相对独立的数据区域，进行处理通过不同的处理器（数据和）如何实现并行计算？分而治之！目录并行计算摘要高性能计算机体系结构并行应用模式编程简介高性能计算机集群由多个组件并行计算，具有运算速度高，存储容量大，可靠性高的特点. 也称为: 超级计算机，高端计算机，高性能计算机. 当前，任何高性能计算机和并行计算都与并行技术的使用密不可分，因此高性能计算机肯定是并行计算机.

定义: 用于测量并行计算机的并行计算机TOP500排名标准基于Linpack软件的实际测试值显示的浮点计算能力. 超级计算机的总安装容量与并行计算机系统结构相当. Flynn分类: SISD，SIMD，MIMD，MISD结构设计和定制）是一台异步MIMD机器. 该程序由多个进程组成，每个进程都有自己的专用地址空间，并且该进程使用消息交互交互. 代表作: 曙光1000，神威机器系列，CRAY T3E，ASCI Red（3072），IBM SP4，CRAY RedStorm，IBM Blue GeneCluster，每个节点都是一台完整的计算机，每个节点都通过高性能网络相互通信连接到网络接口和I / O总线松散耦合. 每个节点都有完整的操作系统. 曙光2000、3000、4000，ASCI Blue Mountain集群系统（集群）内存访问模型分类，多处理器（共享存储），多计算机（分布式存储），多处理器和多计算机多处理器（单个地址空间共享内存）UMA: 统一内存访问NUMA: 非统一内存访问多计算机（多个地址空间非共享内存）NORMA: 无远程内存访问访问模型和系统结构对应目录并行计算概述高性能计算机体系结构并行编程简介高性能计算机组并行计算应用模式并行程序开发环境共享内存模型（共享内存）消息传递模型（HPF（高性能Fortran）共享内存模型特性: 并行程序由共享内存的多个并行任务组成，并且数据交换是通过使用共享数据隐式完成的.

通常，您只需要指定可以并行执行的循环，而无需考虑如何划分计算和数据以及如何在任务之间进行通信. 编译器将自动完成上述功能. OpenMP: 共享内存模型的当前开发标准是OpenMP. OpenMP定义了一组编译指令语句，用于指定诸如程序并行性和数据共享/私有性之类的信息. 目的是为SMP系统提供一个可移植且可扩展的开发接口. OpenMP由OpenMP体系结构审查委员会于1997年推出，现已发展到2.0版. OpenMP支持的编程语言包括Fortran，C和C ++. OpenMP已得到业界的广泛支持. 有大量的商业编译器和其他开发工具来支持OpenMP的开发. 诸如IBM，HP，Sun，SGI，Intel等硬件制造商都具有支持OpenMP的编译器产品. 第三方制造商提供的OpenMP编译器. 消息传递模型的特征: 并行程序由多个并行任务组成. 每个并行任务都有自己的数据并对其执行计算操作. 任务之间的数据交换是通过显式消息传递语句完成的. 现在广泛使用的消息有两种传递模型: PVM和MPIPVM（并行虚拟机），MPI（消息传递接口），几乎所有高性能计算系统都支持PVM和MPI HPFHPF（高性能Fortran）的思想， OpenMP. 同样，帮助编译器通过定义编译指令语句来生成并行代码.

HPF的目标系统与OpenMP不同，它支持DMP系统. 因此，除了为并行指定编译指令语句外，HPF还为数据划分指定编译指令语句. HPF和消息传递模型之间的区别在于: HPF通过编译器生成通信语句，不需要程序员手动编写它们. HPF得到了业界的广泛支持，例如IBM，HP和Sun都具有HPF编译器. 第三方产品包括PGI的PGPHF和APR的Forge xHPF. 缺点是，对于某些问题，无法获得与手写消息传递程序相同的性能. 并行编程标准数据并行语言标准Fortran 90，HPF（1992），Fortran 95/2001: 显式数据分发描述，并行DO循环. 线程库标准（线程库）-Win32API. -POSIX线程线程模型. 编译器指令）– OpenMP: 共享内存并行消息传递库标准（消息传递库）– MPI: 消息传递接口– PVM: 并行虚拟机共享变量编程消息传递编程数据并行编程并行编程标准分类所有并行编程标准都可以分为以下三类: 数据并行HPF，用于SMP的Fortran90，用于SMP的DSM共享编程OpenMP，用于所有并行计算机的DSM消息传递MPI和PVM. 可以将这三种混合使用: 对于以SMP为节点的群集，可以在节点之间进行消息传递以及在节点内进行共享变量编程. 消息传递并行编程消息传递并行编程意味着用户必须显式发送和接收消息，以实现处理器之间的数据交换.

在这种并行编程中，每个并行进程都有其自己的独立地址空间，并且不能直接执行相互访问，必须通过显式消息传递来实现. 此编程方法是并行处理器（MPP）和群集（Cluster）使用的主要编程方法. 并行计算具有较大的粒度，特别适合于可伸缩并行算法. 因为消息传递程序设计要求用户很好地分解问题并组织不同进程之间的数据交换，所以并行计算粒度很大，特别适合于可伸缩并行算法. 消息传递是并行计算领域中非常重要的并行编程方法. 什么是MPI？质量传递接口: 是MPI论坛开发的消息传递功能库的标准规范，并支持Fortran和C（不是A语言）的新库描述. 有数百个函数调用接口. 在Fortran和C语言中，可以直接调用这些函数. MPI是标准或规范的代表，而不是其特定的实现. MPI是消息传递编程模型，并成为该编程模型和事实上的标准的代表，为什么要使用MPI？高度可移植的MPI已在IBM PC，MS Windows，所有主要的Unix工作站和所有主流并行机上实现. 使用MPI进行消息传递的C或Fortran并行程序可以在IBM PC，MS Windows，Unix工作站和各种并行计算机上运行，​​而无需更改.

并行库的基本思想是: 用户不需要自己编写通用的并行算法代码，但是该库提供了并行算法并且对​​用户是透明的. 用户只需要根据自己的需要调用相应的库函数，就可以编写并行程序. 库函数的作者通常经验丰富，并且库函数将采用更多优化的算法并使用优化的编译，这将使库函数的执行效率非常高. 对于使用大量通用计算算法的用户，使用并行库是一种有效的开发模型. 并行库的缺点是它们无法帮助需要自己编写非通用并行算法的用户. 常用的并行库当前有许多并行库，包括PBLAS（并行基本线性代数子例程）以及基于它的LAPACK和ScaLAPACK. 它提供了一些解决线性代数问题的并行算法，例如寻找特征值和最小二乘问题. 等待. LAPACK针对SMP系统进行了优化，而ScaLAPACK针对DMP系统进行了优化. 大多数高性能计算系统都提供在此系统上优化的PBLAS，LAPACK和ScaLAPACK. 另一个著名的并行库是PETSc. PETSc是基于MPI的一组数据结构和库函数，用于解决基于偏微分方程的典型科学计算问题. MATLAB是一种非常常用的科学计算软件. 许多公司和研究机构也在致力于并行化MATLAB，例如RTExpress.

开发工具调试工具性能分析和预测资源管理以及负载平衡系统调试工具IBM的pdb（命令行模式），pedb（Xwindow图形界面），HP的DDE（XWindow图形界面）和LaDebug（用于Alpha系统），Sun的Prism和其他Etnus TotalView是最著名的第三方并行调试器. 它提供C高性能计算机群，C ++，Fortran程序的图形符号调试，可以调试MPI，PVM，HPF，OpenMP程序，支持几乎所有高性能供应商（例如SGI，Sun，HP，IBM）的产品，还提供对以下产品的支持: Linux. 英特尔的线程分析器是一种程序正确性检测工具，它支持OpenMP，并用于自动发现程序中的常见错误. 它目前仅在IA32和IA64上支持Linux性能分析和预测性程序性能分析（性能分析）. 它可以帮助用户找到程序中最耗时的部分，从而专注于改进和优化. 这是提高程序性能的有效手段. 传统的性能分析工具通常仅在子例程级别提供性能分析，但是对于高性能程序，它对于循环程序的性能分析至关重要. 大多数现有的高性能计算系统都具有可以执行循环级性能分析的性能分析器，并且还提供友好的用户界面，例如英特尔的VTune，AMD的CodeAnalyst和IBM的Xprofiler.

一些第三方供应商还提供性能分析工具，例如Pallas’Vampir，它支持从Linux PC到几乎所有高性能供应商（例如IBM，HP，Sun和SGI）的产品. 资源管理和负载平衡系统严格来说，负载平衡系统是运行时环境，而不是开发环境. 负载平衡系统可以通过了解系统中每个节点的负载状态，计算能力和内存状态来合理地分配任务的执行节点. 必要时点将现有任务迁移到其他节点，以提高系统吞吐量. 对于SMP系统，操作系统内置的任务计划程序可以完成任务计划功能. 对于DMP系统，需要特殊的软件来进行任务调度以实现负载平衡，并且需要使用单个系统映像（SSI）著名的负载平衡系统平台的LSF（负载共享工具）Veridian的PBS（批处理系统）开源OpenPBS（Torque），SGE串行程序自动并行化的优点: 可以将许多现有的串行代码转换成并行代码，并行化又分为完全自动并行化和交互式并行化两种模式: 全自动并行化的并行过程不需要人工干预. 它可以自动找到程序的可并行化部分并生成并行代码；对于大多数程序，并行化的效果也非理想的交互式并行化工具通过向用户提供程序中的有效信息（包括相关分析结果，程序调用图，性能预测结果等）来帮助用户并行化工作，但是如何更好地结合用户和并行化工具的能力需要进一步研究.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-211674-1.html