高性能计算集群（HPC_CLUSTER）(2)

InfiniBand系统可以是只有几个I / O设备的单处理器服务器，也可以是大型并行超级计算机. InfiniBand规范定义了三个基本组件: 主机通道适配器（HCA），目标通道适配器（TCA）和网络交换机. InfiniBand技术通过连接HCA，TCA，交换机和路由器来工作（参见图1）. 页面节点上的InfiniBand设备是生成并使用数据包的通道适配器. HCA TCA可以提供高度可靠的端到端连接，而无需CPU干预. HCA驻留在处理器节点上，并提供从系统内存到InfiniBand网络的访问. 它还具有一个可编程的直接内存访问（DMA）引擎. 该引擎具有特殊的保护和地址转换功能，因此可以通过另一个HCA或TCA在本地或远程执行DMA操作. TCA驻留在I / O单元中，并提供I / O设备（例如磁盘驱动器）或I / O网络（例如以太网或光纤通道）InfiniBand网络连接. 它实现了InfiniBand协议的物理层，链路层和传输层. 开关位于通道适配器之间. 它们使数以千计的InfiniBand页面节点可以在任何位置互连到单个网络中，同时支持多个连接.

交换机既不生成也不使用数据包. 他们只是根据数据包中路由器标头的目标地址将其传递. 交换机对节点是透明的，信息包完整地通过交换机网络. 与当前的通信协议（例如TCP / IP）相比，InfiniBan技术的一个重大变化是InfiniBand硬件承担了许多最初由CPU执行的I / O通信任务，因此在处理并发多通道通信任务时没有现有的通信协议. 固有的开销. 在没有系统核心层干预的情况下，它可以提供零数据复制传输，并使用硬件来提供高可靠性和容错通信，并最终改善系统带宽，延迟和可靠性问题. 2.3集群管理和通信软件有多种集群管理和通信软件可供选择，一些是HPC集成商自己编写的特殊软件，与硬件销售捆绑在一起，还由软件公司提供. 软件包. 我们推荐世界知名的HPC软件公司-挪威Scali的产品. 基于Linux操作系统的Norwegian Scali的群集管理软件符合MPI 1.2标准. 使用图形管理界面，高性能通信库和集成的第三方软件工具，用户可以轻松地对集群中的每个节点计算机执行任务分配，监视和管理，并通过由Microsoft提供的一系列软件接口来开发自己的应用程序软件. 它产品，从而减少了整个系统的开发时间和成本，并确保了系统配置和升级的灵活性.

Scali软件的最大功能是支持多个高速互连网络: 可以支持千兆以太网，SCI，Myrinet，InfiniBand. 管理软件功能性能优化: 对于零长度数据包，传输延迟小于3.5微秒，在64位/ 66MHz PCI总线上，连续传输带宽超过300兆字节/秒；多进程支持: 您可以充分利用ScaMPI，可以同时执行请求服务和通信管理操作；容错能力: ScaMPI可以快速发现临时网络错误，重新选择互连安排或更改路由；自动选择物理传输路径: ScaMPI可以自动选择MPI，共享存储的最佳传输方式，使用SCI连接节点； UNIX命令复制: 命令行参数应用程序可以自动提供所有MPI程序，以避免冗余分析； MIMD支持: ScaMPI支持多个指令流和多个数据流；图形化前端: 可视化图形化界面，方便操作和管理；调试: ScaMPI支持许多调试程序和分析工具，并提供调试功能. ScaMPI完全支持Etnus布料调试程序和Pallas的Vampir MPI分析工具. 可以使用GNU全局调试选定的程序. 我们的S系列集群计算机中的高速互连网络使用SCI技术. 高带宽（10Gbit / s）和低延迟（1.46微秒）是SCI的技术特征.

特别是，SCI网络的环形网格和超立方体拓扑结构可确保集群的高可靠性，并在系统扩展时确保成本的线性增加. 节点规模: 2 --- 256个节点（2004年4月之后，最多可支持8000个节点）应用需求: 分布式计算，子任务之间的紧密连接，需要大量数据交换，尤其着重于带宽和延迟关键指标. 应用领域: 地震预测和预测，石油勘探，气候模拟和天气预报，人类遗传与基因工程，海洋环流和超导模拟，大容量存储，科学计算等. 硬件系统配置列表: 名称说明配置单位编号专用服务器主机柜标准机电源控制器，电源系统（3 * 20A），风扇，机柜网络系统，系统控制器，前面板LCD触摸屏Cisco2950-12witch 100M以太网视频切换器KVM存储系统NAS / RAID VIA C3处理器，缓存256MB SDRAM，三个10/100以太网端口和一个可选的千兆以太网端口，可以支持8个UltarDMA100硬盘驱动器可选的UDMA 133硬盘驱动器，环境监视单元300W热替换冗余电源计算节点INTEL / SuperMicro Xeon2.4G，1G内存，集成100/1000网络卡，标准光盘驱动器，软盘驱动器，图形卡，73G SCSI硬盘控制节点INTE L /超微Xeon2.4G，1G内存，73G SCSI硬盘，集成的100/1000网卡，标准光盘驱动器，软盘驱动器，图形卡高速互联网海豚D33X高带宽（667MBytes / s），低延迟（1.46）微秒）网络通讯卡其他显示15英寸纯平版本号备注单位数量监控系统系统监控软件Ver2. 0对于系统监视操作系统RedHat Ver8.0其他系统MPI（消息传递接口），Mosix群集管理系统Scali群集管理软件（用于InfiniBand）Ver3.1管理系统，用于我们的I系列群集计算机中的高速互连网络现在，InfiniBand技术引起了业界的广泛关注.

凭借30Gbit / S的极高理论带宽（InfiniBand 12X）和低CPU使用率高性能计算机集群，InfiniBand必将在未来的高性能计算市场中占据重要地位. 节点规模: 2--1024个节点（目前，我们可以提供8-PORT，24-PORT，96-PORT IB交换机，需要级联96个以上的节点）应用需求: 强调超大的通信带宽. 应用范围: 地震预测和预报，石油勘探，气候模拟和天气预报，科学计算等. 硬件系统配置列表: 主机柜的服务器标准电源控制器，电源系统（3 * 20A），风扇，机柜网络系统，系统控制器，前面板LCD触摸屏Cisco2950-12witch 100M以太网视频切换器KVM NAS / RAIDVIA C3处理器，缓存256MB SDRAM，三个10/100以太网端口和一个可选的千兆以太网端口，可支持8个Ultar DMA100硬盘驱动器（可选UDMA 133）硬盘，环境监视单元300W热更换冗余电源Xeon2.4G，1G内存，集成的100/1000网卡，标准光盘驱动器，软盘驱动器，图形卡，73G SCSI硬盘Xeon2.4G，1G内存，36G SCSI硬盘驱动器，集成100/1000网卡，标准光盘驱动器，软盘驱动器，图形卡SBSIB交换机8端口IB交换机或24端口IB交换机或96端口IB交换机SBSHCA卡IB4X-PCIX，IB4X-PCI，IB4X-PMC其他显示器15英寸纯平版本号备注单位数量监视系统系统监视软件Ver2.0，用于系统监视操作系统RedHat Ver8.0其他系统MPI（消息传递接口），Mosix集群管理系统Scali集群管理软件（用于InfiniBand）Ver3.1用于系统管理系列. 我们处于千兆位（千兆以太网）.

千兆以太网的延迟大约是SCI和InfiniBand的10倍，并且操作期间的CPU占用率相对较高. 但是，由于某些用户的应用是基于原始100M以太网群集的过渡，因此对延迟的要求不高，因此千兆以太网群集已成为成本最低的解决方案. 节点规模: 2--1000个节点应用需求: 高吞吐量计算，该任务可以分为几个可以并行计算的子任务，并且每个子任务都不相关. 应用范围: 石油勘探，武器设计，网络安全，电子商务，远程教育等. 硬件系统配置列表: 主机柜，电源系统（3 * 20A），风扇，机柜的专用服务器标准机柜电源控制器的单元号网络系统，系统控制器，前面板LCD触摸屏系统通信网络Cisco2950-12 100M以太网视频切换KVM存储系统NAS / RAID VIA C3 800MHz处理器，缓存256MB SDRAM，三个10/100以太网端口和一个可选的千兆以太网端口，可以支持块UltarDMA100硬盘驱动器，可选的UDMA 133硬盘驱动器，300W环境监测单元，可热更换的冗余功率计算节点INTEL / SuperMicro Xeon2.4G，1G内存，集成的100/1000网卡，标准光盘驱动器，软盘驱动器，图形卡， 73G SCSI硬盘控制节点INTEL / SuperMicro Xeon2.4G，1G内存，36G SCSI硬盘，集成的100/1000网卡，标准光盘驱动器，软盘驱动器，grap hics卡高速互联网3COM 1000万亿台交换机X端口10/100/1000交换机其他显示器15英寸纯平版本号备注单位数量监控系统系统监控软件Ver2.0，用于系统监控操作系统RedHat Ver8.0其他系统MPI （消息传递界面），用于系统管理的Mosix群集管理系统Scali群集管理软件（用于Giganet）Ver3.1

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-206248-2.html