高性能计算集群（HPC_CLUSTER）

高性能计算集群（HPCCLUSTER）1.1什么是高性能计算集群？简而言之，高性能计算（High-Performance Computing）是计算机科学的一个分支，它致力于超级计算机的开发，研究并行算法和开发相关软件. 高性能群集主要用于处理复杂的计算问题，并用于需要科学计算的环境中，例如天气预报，石油勘探和储层模拟，分子模拟以及基因测序. 在高性能集群上运行的应用程序通常使用并行算法，根据某些规则将一个大的常见问题分为许多小子问题，并在集群中的不同节点上执行计算. 这些小问题的处理结果通过处理可以合并到原始问题的最终结果中. 由于这些小问题的计算通常可以并行进行，因此可以缩短问题的处理时间. 在高性能群集的计算过程中，节点协同工作. 他们处理了大问题的一部分，并在此过程中根据需要交换数据. 每个节点的处理结果是最终结果的一部分. 高性能群集的处理能力与群集的大小成正比，并且是群集中节点的处理能力的总和，但是此类群集通常不具有高可用性. 1.2高性能计算分类高性能计算的分类方法很多. 在这里，我们从并行任务之间的关系的角度对高性能计算进行分类. 1.2.1高通量计算有一类高性能计算，可以分为几个可以并行化的子任务，每个子任务彼此无关.

由于这种类型的应用程序的一个共同特征是在海量数据上搜索某些模式，因此这种计算称为高通量计算. 所谓的互联网计算属于这一类. 根据Flynn的分类，高吞吐量计算属于SIMD（单指令/多数据，单指令流-多数据流）的类别. 1.2.2分布式计算（Distributed Computing）另一种计算类型与高吞吐量计算相反. 尽管它们可以分为几个并行的子任务，但这些子任务密切相关，需要大量的数据交换. 根据Flynn的分类，分布式高性能计算属于MIMD（多指令/多数据，多指令流-多数据流）的类别. 1.3高性能计算集群系统的特点可以使用现成的通用硬件设备或专用硬件设备，开发周期短；可以实现一个系统映像，即操作控制，IP登录点，文件结构，存储空间，I / O空间，作业管理系统的简化等；高性能（因为连接高速网络后，CPU处理能力和磁盘均匀分布，并具有并行吞吐量）；高可用性本身就是一个冗余节点，可以为用户提供不间断的服务，因为系统包含多个节点，当一个节点发生故障时，整个系统仍可以继续为用户提供服务；高可伸缩性，您可以在群集系统中动态添加新服务器并删除需求. 过时的服务器可以最大化系统以满足不断增长的应用程序的需求；安全，自然的防火墙；资源可以被充分利用，集群系统的每个节点都是相对独立的机器，当这些机器没有提供服务或不需要服务时，仍可以向其收费.

大型机上的更新配件很难重复使用. 它具有极高的性能价格比，并且与传统大型机相比具有很大的价格优势； 1.4 Linux高性能集群系统当谈到Linux高性能集群时，许首先想到的是Beowulf. 最初，Beowulf只是一个著名的科学计算集群系统. 未来许多集群将使用类似Beowulf的体系结构，因此，事实上，Beowulf现在已经成为一种被广泛接受的高性能集群. 尽管它们的名称不同，但许多群集系统都是Beowulf群集的派生类. 当然，存在与Beowulf不同的集群系统. COW和Mosix是另外两个著名的集群系统. 1.4.1 Beowulf集群简单来说，Beowulf是一种可以使用多台计算机进行并行计算的体系结构. 通常，Beowulf系统由通过以太网或其他网络连接的多个计算节点和管理节点组成. 管理节点控制整个群集系统，并为计算节点提供文件服务和外部网络连接. 它使用普通的硬件设备，例如普通的PC，以太网卡和集线器. 它很少使用专门定制的硬件和. Beowulf集群软件也随处可见，例如Linux，PVM和MPI. 1.4.2 COW群集与Beowulf一样，COW（群集工作站）也是由最常见的硬件设备和软件系统构建的.

它通常由一个控制节点和多个计算节点组成. COW和Beowulf之间的主要区别在于: COW中的计算节点主要是空闲的计算资源，例如办公室中的台式机工作站，它们是普通PC，通过普通局域网连接. 因为这些计算节点在白天用作工作站，所以主群集计算发生在晚上，周末和其他空闲时间. Beowulf中的计算节点都专用于并行计算并针对性能进行了优化. Beowulf使用高速网络（InfiniBand，SCI，Myrinet）上的消息传递（PVM或MPI）进行进程间通信（IPC）. 由于COW中计算节点的主要目的是桌面应用程序，因此它们都具有设备，例如监视器，键盘和鼠标. Beowulf的计算节点通常没有这些设备，通常通过网络或串行线路在管理节点上实现对这些计算节点的访问. 1.4.3 Mosix集群实际上将Mosix集群置于高性能集群中是一个牵强的话题高性能计算机集群，但是与Beowulf等其他集群相比，Mosix集群确实是一种非常特殊的集群，它致力于在Linux系统上实现集群系统的单个系统映像（SSI）. Mosix群集将网络上运行Linux的计算机连接到群集系统中.

系统自动平衡节点之间的负载. 由于Mosix是在Linux系统内核中实现的集群，因此用户模式应用程序可以在Mosix集群上运行而无需进行任何修改. 通常，用户很少注意到Linux和Mosix之间的区别. 对他来说，Mosix群集是运行Linux的PC. 尽管现在有很多问题，但Mosix始终是引人注目的集群系统. 如何构建高性能计算集群高速互连网络的选择以及集群管理和通信软件从三个方面进行配置. 根据节点部署的功能，我们可以将集群中的节点分为6种类型: 用户节点（控制节点）控制节点（管理节点）存储节点（存储节点）安装节点（安装节点）计算计算节点节点的类型很多，并不是说计算机只能是一种类型的节点. 计算机播放的节点类型取决于群集的实际需求和计算机的配置. 在小型集群系统中，用户节点，控制节点，管理节点，存储节点和安装节点通常是同一台计算机.

下面，我们解释这些类型的节点的作用. 2.1. 用户节点（UserNode）用户节点是外界访问集群系统的网关. 用户通常登录到该节点以编译和运行作业. 用户节点是外部访问群集系统强大的计算或存储功能的唯一入口点，并且是整个系统的关键点. 为了确保用户节点的高可用性，应使用容错的硬件冗余方法，例如双系统热备份. 至少应使用RAID（冗余阵列独立磁盘）技术来确保用户节点的数据安全性. 2.1.2控制节点控制节点主要负责两项任务: 为计算节点提供基本的网络服务，例如DHCP，DNS和NFS；以及计算节点上的作业级别，通常是群集作业调度程序（例如PBS）. 它应该在此节点上运行. 通常，控制节点是计算网络中的关键点. 如果失败，则所有计算节点都将失败. 因此，控制节点还应该具有硬件冗余保护. 2.1.3管理节点（Management Node）管理节点是集群系统的各种管理措施的控制节点. 管理网络的控制点，并监视群集中每个节点和网络的操作. 通常的群集管理软件也可以在此节点上运行. 2.1.4存储节点（Storage Node）如果集群系统的应用程序需要大量数据，则还需要一个存储节点.

顾名思义，存储节点是集群系统的数据存储和数据服务器. 如果您需要存储TB的数据，那么存储节点是不够的. 此时，您需要一个存储网络. 通常，存储节点需要配置如下: ServerRAID保护数据安全性；高速网络保证足够的数据传输速度. 2.1.5安装节点（Installation Node）安装节点提供用于安装集群系统的各种软件，包括操作系统，各种运行时库，管理软件和应用程序. 它还必须打开文件服务，例如FTP或NFS. 2.1.6计算节点（Computing Node）计算节点是整个集群系统的计算核心. 它的功能是执行计算. 您需要根据需要和预算来决定使用哪种配置. 理想情况下，最好有一个计算节点和一个CPU. 但是，如果考虑到预算限制，也可以使用SMP. 从成本性能的角度来看，两个CPU的SMP优于三个CPU的SMP机器. 因为一个计算节点的故障通常不会影响其他节点，所以该计算节点不需要冗余的硬件保护. 2.1.7群集中节点的部署尽管存在多种类型的节点，但这并不是说一台计算机只能是一种类型的节点. 计算机播放的节点类型取决于群集的实际需求和计算机的配置. 在小型集群系统中，用户节点，控制节点，管理节点，存储节点和安装节点通常是同一台计算机，并且该计算机通常成为主节点（Master Node）.

在这种情况下，群集由多个计算节点和一个主节点组成. 如何在大型集群系统中部署这些节点是一个相对复杂的问题，通常由诸如应用程序需求，拓扑和预算等因素决定. 2.2高速互连网络网络是集群中最关键的部分. 它的容量和性能直接影响整个系统对高性能计算（HPC）的适用性. 根据我们的调查，大多数高性能科学计算任务都是通信密集型的，因此如何缩短节点之间的通信延迟并提高吞吐量是一个核心问题. 2.2.1快速以太网快速以太网是在UTP或光缆上运行的100Mb / S高速局域网的总称. 由于TCP / IP运行时会占用更多的CPU，并且理论上的传输速度和延迟相对较差，因此，在选择HPC群集中的计算网络时，现在我们基本上不考虑此解决方案. 2.2.2 Giganet（Giganet）Giganet是Linux平台的第一个虚拟接口（VI）体系结构卡供应商，提供cLAN和交换机. VI体系结构是独立于平台的软件和硬件系统，由Intel开发并用于创建集群. 它使用自己的网络通信协议直接在服务器之间交换数据，而不是使用IP，并且它并非旨在成为WAN可路由的系统. Giganet产品目前可以在节点之间提供Gbps单向通信. 理论上的最小延迟为微秒，测得的延迟约为50-60微秒，并且在运行期间CPU使用率相对较高.

2.2.3 IEEE SCI IEEE标准SCI具有较小的延迟（理论值为1.46微秒，实际值为3-4微秒），并且其单向速度可以达到10Gb /秒，这与InfiniBand 4X的理论值相同. 与以太网是星形拓扑不同，SCI是基于环形拓扑的网络系统. 这将使节点之间的通信速度更快. 环形拓扑网络更有用，它在节点之间具有许多环形结构. 二维环面可以由在每行和每列中具有环形网络的网格表示. 三维环面相似，可以用三维三维节点网格表示，每层都有一个环形网络. 密集的超级计算并行系统使用环型拓扑网络为相对于数十万个节点之间的通信提供了相对最快的路径. 什么是SCI互连技术？符合ANSI / IEEE 1596-1992的SCI技术定义了点对点高速通信端口和数据包协议集； SCI作为一种开放总线技术，可实现高带宽（10Gbit / s）和低延迟（1.46微秒）的网络通信； SCI端口是双向连接的，确保可以同时执行数据读取和写入操作；支持多种CPU类型（Intel，AMD，Sun，Alpha）；支持各种流行的操作系统（Windows2000，NT，RedHat Linux，SuSE Linux，Solaris，Lynx，Tru64 Unix，VxWorks）； SCI协议支持共享内存系统，并包括Cache一致性协议集；灵活的网络拓扑，可支持星形网络，一维环网（Ring）和二维，三维环网拓扑；为任务关键型应用程序而设计，支持热插拔和多个冗余结构.

2.2.4 Myrinet互连技术Myrinet提供网卡和交换机，其单向互连速度可以达到1.28 Gbps. 网卡有两种类型，铜线类型和光纤类型. 铜线LAN可以在10英尺的距离内全速通信，而在60英尺的距离内以半速运行. Light Myrinet可以在6.25英里的单模光纤或340英尺的多模光纤上全速运行. Myrinet仅提供直接的点对点，基于集线器或基于交换机的网络配置，但对可以连接在一起的交换光纤的数量没有限制. 添加交换光纤只会增加节点之间的延迟. 两个直接连接的节点之间的平均延迟为18微秒，比以太网快. 由于Myrinet板上集成了可编程微处理器，因此可以满足某些研究人员的特定需求. 2.2.5 InfiniBand互连技术InfiniBand由InfiniBand协会开发的体系结构技术，它是用于实施基于通道的交换技术的通用I / O规范. 由于IB的理论带宽极高，为30Gbit / S，因此引起了业界的广泛关注. InfiniBand的解决方案包括连接多个独立处理器和I / O平台的系统区域网络. 它定义的通信和管理结构支持I / O和处理器到处理器的通信.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-206248-1.html