SC10: IBM通用并行文件系统不共享集群

【IT168新闻】11月13日至11月19日，国际超级计算机大会（SC10）在美国路易斯安那州新奥尔良连续7天举行.

11月19日，IBM宣布了SC10上新存储体系结构设计的详细信息. IBM科学家声称，该设计可以将数万亿字节的数据转换为可用信息，速度是当前技术的两倍. 因此，该设计非常适合云计算和数据密集型工作负载应用程序，例如数字媒体，数据挖掘，财务分析等.

▲

这种新架构称为通用并行文件系统无群集（GPFS-SNC），旨在使用高级群集技术，动态文件系统管理和高级数据复制（Data Replication）技术来提高可用性和速度.

IBM存储分析和研究总监发明人Prasenjit Sarkar表示，一个40节点文件系统的吞吐量将为12GB /秒并行文件系统，而具有400个节点的系统的吞吐量将达到120GB /秒. 他说: “这是非常划算的带宽. 您可以获得1MB /秒的美元. 如果要复制存储区域网络，它将非常昂贵. ”

新架构适用于支持高性能分析，数据仓库应用程序和云计算目的的应用程序. 他介绍了每个节点或标准x86服务器的“非共享”群集技术，这些技术有机会获得针对GPFS的自身元数据，缓存，数据存储和管理工具，以及同时通过以太网端口对群集进行千兆访问. 所有其他节点.

他说: “我们要做的是，我们的分布式文件系统的每个方面都与Google文件系统相关. 它具有域节点，元数据，分发，锁管理，令牌管理，即使是来自Rack，我们仍然可以继续工作. “

集群文件系统可以实现所谓的不共享，可用性，性能和扩展到新的水平. 每个GPFS-SNC体系结构节点也是自给自足的. 任务在这些独立的计算机之间分配.

GPFS还支持POSIX，从而启用了传统上正在运行的广泛使用的文件系统，从而允许执行读取和写入操作. Prasenjit Sarkar说: “您可以打开文件，可以读取文件，然后可以追加到文件并覆盖任何部分. 使用Google的Hadoop分布式文件系统，您不能追加到文件，不能涵盖任何内容. 章节，因此您的体重非常有限. “

GPFS民事委员会还支持企业数据存储功能，例如快照，整个范围的备份并行文件系统，归档，信息生命周期管理，数据缓存，WAN数据复制和管理策略. 该体系结构具有单个全局域名空间，允许管理程序节点在节点之间移动.

“因此，在我们的集群示例中，您可以同时将DB2或OracleHadoop作为集群运行，” Saka说. “这使我们拥有可以被广泛的用户使用的通用文件系统. ”

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-179259-1.html