超级计算设计方案

文字/李玮

20世纪下半叶，第三次工业革命浪潮席卷全球，人类开始进入后工业社会，即信息社会. 在信息经济时代，其先进生产力和技术发展的象征是计算技术. 如今，计算科学，特别是基于超级计算机（或高性能计算机）的计算科学已与理论研究和实验科学并列在一起，已成为现代科学的三大支柱之一.

现代超级计算基于高级群集技术，通常称为网格计算技术（Grid Computing）. 网格计算伴随着Internet的发展，Internet是一种专门用于复杂科学计算的新型计算模型. 这种计算模型使用Internet将分散在不同地理位置的计算机组织成虚拟的“超级计算机”，其中参与计算的每台计算机都是一个“节点”，整个计算由成千上万个“节点”组成. “网格”，即所谓的网格计算，这种“超级计算机”具有两个优点，一是数据处理能力超强，二是可以充分利用互联网上的空闲处理能力. 网格计算是一种分布式计算，应该指出的是，网格计算是一种传统的，更加的定义方式，而超级计算是一种更为流行的概念，两者本质上是相同的.

超级计算中心（即超级计算中心）是指基于超级计算机系统提供计算资源，存储资源和技术咨询服务的组织或单位. 超级计算在一个国家的发展中，尤其是在一些尖端技术的发展中，扮演着不可替代的角色. 生物技术，石油勘探，天气预报，国防技术，工业设计，城市规划等经济和社会发展的关键领域超级计算机是必不可少的. 所有国家，特别是经济技术水平相对较高的国家，都将促进超级计算机的发展作为重要的规划内容.

超级计算和云计算

如本杂志前面所述，云计算是一种商业模型，它通过Internet发布和使用全球，高度可扩展的灵活服务，并根据需求和实际使用量进行支付. 云计算代表了一种全新的价值: 它使企业能够获得高度可扩展且灵活的Internet服务. SaaS瘦客户端应用程序减少了软件采购和维护成本；所有功能均以服务形式提供给用户.

云计算是从网格计算发展而来的，可以按需提供资源. 网格计算可能会或可能不会在云中，这取决于使用哪种类型的用户. 如果用户是系统管理员和集成商，他们将关心如何维护云，例如升级，安装和虚拟化服务器和应用程序. 如果用户是消费者，则不必关心系统的运行方式.

网格计算和云计算具有许多相似之处，两者都可以视为派生自分布式计算的概念，既可以使IT资源对用户透明，又可以使IT资源更易于访问. 很好的用法. 从提高资源利用率的角度出发，WEB服务的概念逐渐诞生. 通过部署成千上万的服务器以形成巨大的计算资源，网络公司能够提供以前无法完成的新服务. 企业或个人可以使用那些大型网络公司释放的计算资源来通过Internet部署应用程序或向外界提供服务. 这是从网格计算到云计算的历史过程. 网格计算和云计算的意义在于，用户和企业开发人员都可以通过Internet获得数据或执行计算. 尽管本地资源有限，但是它们可以通过网络执行复杂的操作. 数据计算过程是“对于用户而言”，就像本地网络用户的Internet网络一样.

1. 超级计算与云计算之间的相似性

根据定义，网格计算和云计算都试图将各种IT资源视为可以为外界提供相应服务的虚拟资源池. 云计算试图允许“用户透明地使用资源”，而网格计算的初衷是“使用IT资源就像使用水力发电一样简单”.

云计算是一个广泛的概念，它使用户可以通过Internet访问各种基于IT资源的服务，并且用户可以享受“与IT相关的资源”作为服务，而无需了解底层的IT基础架构. 网格的含义包括两个方面. 一方面，所谓的效用计算或按需计算. 在这一点上，无论是通过资源池还是通过分布式计算资源，网格计算都非常类似于云计算. 提供计算，存储等服务；另一个是所谓的“虚拟超级计算机”，它以松散耦合的方式连接大量计算资源，以提供单个计算资源无法完成的超级计算功能. 从外部提供服务的角度来看，网格计算与云计算非常相似.

2. 超级计算与云计算之间的差异

可以看出，网格计算和云计算具有相似性高性能计算机集群 方案，特别是并行性和协作性的特征. 但是它们之间的区别也很明显. 要点如下:

网格计算的思想是聚集分布式资源，支持虚拟组织并提供高级服务，例如分布式协作科学研究. 云计算资源相对集中，底层资源的使用主要以数据中心的形式提供，不强调虚拟组织（VO）的概念；

网格计算的初衷是使用聚合的资源来支持具有挑战性的应用程序，因为高性能计算的资源还不够，分散的资源需要聚合. 2004年之后，逐渐强调适应通用信息应用程序. 云计算从一开始就支持广泛的企业计算和WEB应用程序，并且更加通用；

在处理异质性方面，两者有不同的想法. 网格计算使用中间件来屏蔽异构系统，试图使用户面对相同的环境，从而使中间件难以处理异构组件. 云计算实际上识别异构性，并使用映像执行或提供服务的机制来解决异构性问题. 当然，不同的云计算系统会有所不同. 例如，Google通常通过自己的专用平台来支持它.

简而言之，云计算是一个相对集中的资源，运行去中心化应用程序（在多个大型中心中执行大量去中心化应用程序）；网格计算是分散资源的聚合，以支持大型集中式应用程序（大型应用程序分为多个实现）. 但是从根本上说，在处理Internet应用程序的特性方面，它们是一致的: 为了完成Internet下的应用程序支持，解决异构性，资源共享等问题.

超级计算的分类

随着超级计算的不断发展，新的应用程序逐渐出现. 新的应用程序丰富了传统的网格计算类型，但也给网格计算带来了新的挑战.

从网络角度来看，超级计算分为三类: 并行信息处理，分布式I / O处理和并行文件处理.

1. 并行信息处理

并行信息处理是指在所有计算节点上并行执行应用程序，主节点管理每个计算节点的输入处理，节点之间的高速信息交换以及“等待-停止”机制，以确保信息交换时机的正确性. 通常，定制计算环境追求最高的计算性能. 这种类型的应用程序通常称为科学计算，包括: 气候模型，材料科学，生物系统模型，核仿真和人工智能.

此类应用程序的共同特征是它们对信息交互的延迟极为敏感. 对网络的要求是高带宽和低延迟（Top500高端计算应用程序IPC延迟<10us）.

2. 分布式I / O处理

分布式I / O处理是指通过主节点发送到所有计算节点以进行并行处理的客户端请求. 每个节点的结果直接返回到主节点，并且主节点响应客户端. 延迟要求并不苛刻，但是所有计算节点都以最快的速度响应主节点，因此主节点的网络位置将在短时间内生成大量突发流量. 这种类型的计算的典型应用是网站搜索引擎. 信息显示，Google需要每天提供1.5亿个查询服务，平均每毫秒需要1.736个查询. 例如，搜索“高性能计算”，并在0.20秒内获得3,250,000个结果（第二个搜索是0.05秒）.

这种类型的应用程序的共同特征是对网络数据包丢失敏感. 对网络的要求是高带宽和不丢包. 对设备带宽，数据包缓存大小和分发方法有一些要求，这些要求与应用程序的特定大小（服务器数量等）有关.

3. 并行文件处理

并行文件处理是指通过主节点将巨大的源数据文件分为多个小文件，将其分发到每个计算节点以进行并行处理，然后返回到主节点进行处理后进行文件组装. 这种类型的计算的典型应用是渲染和电影. 影视文件被有机地分割，分发到群集中的相应服务器进行渲染等. 每个部分完成后，将其返回并组合成一个新文件.

这种类型的应用程序的特征是节点之间几乎没有信息交互，但是它们都是以大文件的形式完成的. 网络流量大，并发性强. 对网络的要求是高带宽互连.

超级计算中心的网络安全解决方案

1. 云计算中超级计算的部署方案

超级计算可以用作云计算服务，以便为Internet用户提供便利的服务. 从这个角度来看，超级计算中心可以用作云计算数据中心的一部分. 但是，超级计算和云计算之间仍然存在很大差异，因此需要将其视为一种特殊的云计算服务. 超级计算作为一种“聚合”业务，是服务器集群的一种特殊应用. 此应用程序要求服务器形成自己的系统，具体体现在:

l集群系统中不会发生异构现象；

l集群中的通信服务质量要求非常高，因此无法与其他业务共享业务渠道；

l集群系统的安全级别很高，从访问区域到超级计算区域，它需要与其他系统保持物理或逻辑隔离；

集群节点的计算性能要求相对较高，通常不会出现虚拟机. 因此，群集内的通信流量不是很大.

集成各种需求，您可以集成超级计算中心的网络和云计算数据中心，然后为外界提供统一的解决方案. 如图1所示，超级计算服务用作云计算的独立区域，以确保超级计算的端到端安全隔离，并在超级计算区域内实现统一的交换架构. 该计划着重于性能，安全性，可靠性和易用性设计.

图1超级计算中心网络安全解决方案的网络解决方案

2. 超级计算网络解决方案的高性能设计

由于Infiniband具有高带宽和低延迟转发（通常小于10us，甚至达到纳秒级）的特性，因此传统的超级计算网络通常将其用于联网. 随着以太网的发展高性能计算机集群 方案，以太网已经广泛应用于超级计算中心的网络中. 在高性能计算区域（HPC）TOP500集群中，使用千兆以太网的用户数量是使用InfiniBand集群的用户数量的两倍.

千兆以太网计算集群的优势是成本较低，但是10千兆以太网计算集群的性能要远远高于千兆. 新一代的10 Gigabit Ethernet网卡可以将服务器之间的延迟减少到Gigabit网络延迟的八分之一，同时带宽得到了更大的改善，这几乎与InfiniBand的速度相同. 以H3C数据中心级交换机S12500为例. 根据思博伦最新的测试报告，其10 Gb端口转发延迟为6〜14us（盒式10千兆交换机具有较低的转发延迟）. 数据中心级交换机除了可以大大减少转发延迟之外，还可以提供超高密度的10 Gb接入端口，从而可以实现对大量计算节点的高密度接入，从而有效地降低了成本.

由于近年来10 Gb以太网的成本逐渐降低，因此将高性能群集升级到10 Gb以太网将有效地提高计算群集的成本效益. 此外，10 Gb以太网的每Gb功耗低于千兆以太网，从而使用户可以获得10倍的带宽，同时降低了能耗.

3. 超级计算网络方案的高安全性设计

安全设计计划可以分为两个部分: 安全区域规划和端到端安全部署. 如图2所示.

在超级计算中心的网络中，存在着不同业务类型和不同脆弱程度的设备. 根据这些业务类型和设备状况，可以制定不同的安全策略和信任模型，将超级计算网络划分为不同的区域，并在这些区域之间实现逻辑隔离，以确保高级别的数据安全和流量服务为重点. 性能计算区域（HPC）.

为不同级别和不同服务的用户实施了每个端到端安全部署. 从访问终端到超级计算机中心的最终服务器，它始终可以保持逻辑隔离状态. 通过端到端的安全隔离，超级计算中心核心业务的数据中心安全性和服务质量得到进一步增强.

图2超级计算网络解决方案的端到端安全设计

4. 超级计算网络方案的高可靠性设计

使用网络虚拟化技术将达到很高的可靠性要求，可以实现分布式设备管理，分布式路由和跨设备链路聚合. 除了提高超级计算机中心网络的可用性并减少单点故障的影响之外，还部署虚拟化技术，与此同时，无需考虑MSTP，VRRP和其他协议，从而解决了传统设备和虚拟设备的性能瓶颈. 只能在活动/备用模式下工作且利用率低于50％的链接.

因此，通过部署网络虚拟化技术，超级计算服务的网络可靠性可以有效地提高一个等级，从而极大地保证了用户服务的连续性. 同时，超级计算中心网络的性能将在多个级别上灵活扩展，从而增强可靠性，简化配置并降低投资和维护成本.

5. 超级计算网络方案的易用性设计

传统的超级计算中心网络结构异构，复杂，接口不统一: 前端网络和管理网络使用以太网；存储网络使用FC；计算网络使用Infiniband. 这会导致协议转换开销大，速率不匹配，性能瓶颈，开发和部署周期长以及在超级计算机中心运行时无法满足快速灵活的业务部署和性能要求的问题.

图3超级计算中心的集成网络

超级计算中心的网络易用性解决方案是一个集成的网络设计解决方案，它通过CEE（增强型以太网）技术和标准IP协议集成了前端，计算，存储和管理四个网络. 网络技术的碎片化. 各种弊端. 可以有效简化网络层，易于部署，并降低总拥有成本.

结论

云计算是从网格计算发展而来的，但是它并不等同于网格计算. 网格计算（尤其是网格计算）对网络有很高的要求. 超级计算中心的网络设计需要满足不同类型超级计算的需求，必须大大提高超级计算的性能，可靠性，易用性和安全性.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-215355-1.html