IBM GPFS并行文件系统解决方案

随着技术的发展，并行计算刺激了相关行业对高性能计算机的需求. 作为后起之秀，Linux集群系统吸收了SP大型并行机的许多优点. IBM的通用并行文件系统GPFS和其他Linux集群系统的奉献精神不仅可以确保并行计算的性能并增强集群系统的可管理性，而且可以使用高度可用的IBM xSeries服务器，从而可以大大降低成本.

目标市场:

金融业，气象局，地质勘探，大学实验室，生物工程，科学研究和勘探等高性能计算领域.

IBM GPFS并行文件系统解决方案组成

高性能计算机的体系结构主要基于群集. 整个高性能计算系统包括三个主要部分: 硬件基础结构上的计算资源，网络资源和存储资源. 在当前使用Linux并行集群体系结构的主流高性能计算系统中，计算资源分为计算节点和I / O节点. 计算节点负责运行计算任务，而I / O节点负责数据存储和响应计算节点的读取. 通过高速网络在不同计算资源的节点之间进行写请求，通信和信息交换.

在此解决方案中，我们选择的IBM Linux集群系统使用基于Intel Xeon处理器的刀片服务器节点，成熟的集群管理软件以及可提供极高连续带宽保证的存储服务器. IBM高性能设备和技术. 不仅可以保证并行计算的性能，而且可以增强集群系统的可管理性和可维护性. 使用具有高可用性的IBM xSeries服务器可以大大降低总体成本. 同时，数据量的增加带来了对数据管理，共享，分发和保护的实际需求. 市场要求存储供应商不断推出适合其需求的解决方案和产品. 传统的服务器-客户端网络结构在性能，可管理性和连接性方面已达到极限，SAN是解决这些问题的理想解决方案. 作为大型并行计算领域，IBM DS3500存储平台具有高性能，高稳定性，易于扩展和易于管理的特点. 它完全满足存储设备高性能计算平台的要求.

在选择计算节点时，IBM建议使用Blade Center + HS22刀片服务器，IBM BladeCenter支持最新的Intel和AMD四核处理器，支持业界最快的4.0 GHz Power 6处理器，并且专门用于高端九核Cell处理器用于性能计算. IBM HS22是业界功能最强大的刀片服务器. HS22使用最新的Intel Nahelem处理器. 在集成了IBM BladeCenter的传统高可靠性的基础上，性能，功耗和虚拟化功能要比上一代产品更多. 显着改善.

IO节点使用IBM的X3850或X3650. 该产品的前端和后端高吞吐量和灵活的组合可以提供极高的连续带宽保证. 它非常适合在高性能计算环境中具有较高连续带宽要求的存储服务器. 提高I / O节点的处理能力:

I / O节点是提供存储共享的计算机. 为了并行执行任务，每台执行任务的计算机都必须能够访问相同的数据. 该解决方案的存储节点使用集群文件系统（IBM GPFS）来确保数据访问的同步.

I / O节点直接连接到高性能存储，冗余磁盘阵列上的多个分区通过其自己的光纤通道I / O通道被制成群集并行文件系统GPFS，并为计算提供独特的节点路径和全局共享的文件系统. 该解决方案为所有计算节点提供高速文档读取和写入服务，特别适合可能生成大型文档的高性能应用程序.

IO节点机器总共有4组主机，每个主机是两个8Gb高性能HBA卡，一个IO节点连接到SAN网络交换机，每个节点配置有16Gb带宽性能的带宽，此测试配置4个IO节点，总共8个8Gb带宽连接到SAN核心网络，并且从IO节点到核心网络的总连续写入带宽为6.4GB / S.

两个DS3500存储节点，每个节点都配置有8个8Gb FC端口连接到SAN网络，总IO带宽为12.8GB / S. 每个DS3500存储节点均配置有48个300G 15K RPM SAS和48个1TB NL 7.2K SAS，在每个DS3500上实现IO分层存储，将频繁读写的核心IO LUN划分为15K高速SAS存储，其余为分布式在NL SAS上，IBM GPFS支持HPC分层IO功能. 该计划是一个双节点DS3500存储节点，每个节点连接到三个扩展柜，主存储容量为300G×96 SAS，总容量为28TB，辅助存储容量为1TB * 96 NL SAS，存储容量为96TB. <

对于DS3500，已完全配置8个8Gb FC端口，每个DS3500磁盘阵列可提供4GB / S的连续硬盘带宽，而两个DS3500可总共提供8Gb / S的连续带宽.

在GPFS的配置中，建议用户配置2MB的IO块大小. 对于并发操作，应使用更大的IO读写带宽. 在我们提供的GPFS HPC计算方法中，我们确保用户提供最大带宽. 单个GPFS系统的并发带宽可以通过16个8Gb FC端口均匀分布在这24个Luns上. GPFS系统的LUN利用率可以达到90％以上. 在这种配置下，两个双节点存储节点的带宽可以继续达到6GB或更多.

DS3500存储节点的优点:

DS3500系列适用于事务处理应用程序，例如和事务处理，以及吞吐量密集型应用程序，例如高性能计算和流媒体应用程序. DS3500系列的线性扩展功能带来的性能改进使其能够满足最苛刻的应用和开发需求.

DS3500的性能已达到其他制造商的中档产品的计算性能，DS3500是一款具有入门级产品价格的高性能磁盘阵列. 从单个存储节点的性价比来看，DS3500远远高于中端存储磁盘. 形成.

DS3500旨在提供高可靠性和高可用性，它提供组件冗余，自动故障路径切换以及灵活的配置，重构和维护功能，以确保24/7全天候可用数据. DS3500系列还可以保护存储数据的安全性:

–使用DACstore技术将元数据存储在每个磁盘驱动器上

–稳定的吞吐量，6Gbps SAS和8Gbps FC接口使DS3500成为单个存储系统必须处理大量数据的群集环境的理想选择

–流媒体: DS3500系列提供的额外带宽将受益于I / O应用程序，例如全球广播，大量媒体存储网络，内容创建，建模和发布.

–提供连续的缓存备份功能，以确保断电时缓存中的数据仍然安全.

GPFS解决方案优势:

在HPC计算应用程序领域，GPFS以其高安全性而闻名. 随着系统节点数量的增加和容量的增加，GPFS可以实现安全，高效的计算和的文件共享.

先进的仲裁管理机制可确保系统的最大可用性，不存在单点故障，管理服务器可在管理器资源池中实现自动故障转移

支持多路径磁盘访问并行文件系统的特点，一个路径无法访问，可以通过其他路径来实现.

支持元数据和用户数据的复制，以确保系统的稳定性和可靠性

高性能. 在高性能应用程序领域，FPFS通常被认为托管高性能文件计算. 随着节点熟悉程度的提高，GPFS的性能可以线性增加，以满足用户平滑升级的需求.

文件存储使用条带化技术，并且单个文件分布在节点和存储系统之间，以提高并发访问性能

智能的预取机制，通过预测文件访问模式进行预取，减少读写延迟

分布式字节范围级别的锁定管理，包括文件和目录级别，允许最大的并发访问

分布式元数据服务器，以避免元数据处理成为系统瓶颈

支持客户端数据缓存，不同的节点可以根据需要设置不同的缓存大小

数据块的大小可以自定义，分别为16K，64K，256K并行文件系统的特点，512K，1M，2M，4M

支持分层存储

在许多HPC并行文件系统软件中，有些软件是开源的，但是随着设备IO和带宽需求的增加，必须配置大量硬盘，并且无法根据应用程序自动对不同的数据进行分层. 此外，GPFS支持的分层存储功能不仅可以充分满足用户对高性能计算的性能要求，而且可以充分节省资源，提高用户的投资回报率，并确保用户的投资.

软件包1的配置: 6GB / S IO和存储节点解决方案

包装配置2: 12GB / S HPC计算能力IO和存储节点配置

请注意更多精彩内容:

IBM存储微博

IBM官方存储网站

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-248309-1.html