超级计算TOP500列表，让我看看列表背后的存储能力

在最新的TOP500超级计算列表中，中国拥有最多的TOP500超级计算系统，美国排名第二，日本排名第三，法国排名第四.

随着2019年TOP500排名的正式公布，作为支持超级计算数据存储的重要支柱之一，所有前500名TOP500供应商都关注其存储系统的稳定性.

毕竟，HPC存储系统的开发在很大程度上对HPC对计算性能的支持具有直接的影响和价值，并且再次引起了人们的浓厚兴趣. 在HPC计算性能的竞争差距不断缩小的情况下，存储容量的竞争总是有区别的.

HPC存储的主要趋势是什么？

从全球角度看，Intersect360 Researchg发布的2018年全球HPC存储市场收入数据显示，2018年全球HPC存储市场增长至约57亿美元，比2017年同期增长1.0％. 此外，全球HPC存储市场的发展表明，顶级供应商基本上没有太大变化.

尽管全球HPC存储市场并未高速增长，但重大事件仍在发生.

2018年6月，HPC存储供应商DDN收购了英特尔公司的Lustre文件系统业务和相关资产. 在英特尔收购Whamcloud以获得Luster文件系统之前，这大大增强了DDN在HPC存储领域的作用. 技术能力和声音.

2019年5月，HPE宣布以13亿美元的价格收购HPC解决方案提供商Cray，该收购实际上以每股35美元的价格实现. Cray在HPC计算，存储，网络和其他解决方案方面拥有深厚的成就，并且在全球HPC排名中名列前茅.

此外，在HPE收购Cray的公告中，它再次强调了其对全球HPC市场的乐观态度. 分析表明，在未来三年中，高性能计算市场以及相关存储和服务的业务规模预计将从2018年的280亿美元增长到2021年的350亿美元，复合年增长率约为9 ％.

从这两个主要事件可以断言，全球HPC存储市场的品牌集中趋势是显着的.

但是，在2018年，中国HPC存储的整体市场呈现出与世界不同的发展趋势.

一方面，DDN和Panasas等国外HPC存储供应商逐年减少了在中国市场的投资，技术服务的本地化和定制化水平不高，它们正在逐渐稀释发展这个市场.

另一方面，曙光和华为的国内HPC存储供应商特别关注中国本地市场，坚持自主研发路线，并具有较高的战略和投资. 结果超级计算机top500排行榜，国内HPC供应商基本上占据了中国HPC存储的绝大部分.

作为多年来一直专注于整个中国存储市场的高级交易商，曙光公司副总裁惠润海指出，最重要的HPC存储系统是HPC并行文件系统. 业界可以看到诸如Lustre和GPFS. ，BeeGFS（以前称为FhGFS）以及Glustre，Ceph和企业级NAS. 在HPC中国市场中真正被接受和认可的HPC存储供应商通常在该领域坚持存在的时间不是两三年，而是十年以上.

在中国HPC存储市场中，供应商之间的竞争实际上是关于三个重要功能的.

首先，它具有由应用程序支持的HPC部署和服务功能的经验. 例如: 100个节点，200个节点...没什么，它取决于5000个节点甚至更大的规模.

第二，它在HPC存储领域具有数年的长期研发和技术积累能力. 例如: 三年和五年并不是真正的长期，长期取决于八年以上的十年.

第三，它拥有一支高级的本地HPC存储技术支持团队，以实现定制的设计，开发和实施功能. 例如，技术团队将基于独立研发来实现HPC存储的深度定制，以满足不同用户对个性化功能和场景极端性能的需求.

由于近年来中国HPC用户的定制要求不断提高，因此HPC存储复杂和多样化的趋势也很明显. 尽管还存在一般的HPC存储要求，但是应用场景正在缩小.

重要的是要注意，用户HPC存储的自定义要求独立的研发能力和供应商的程度很高. 也许正是Sugon愿意在HPC存储领域的冷台上呆了很长时间，才使我意识到技术持久性的价值.

中国的HPC储存之星，如何比ParaStor少

事实上，多年来，曙光HPC在超级计算机TOP500排名中也取得了很好的成绩. ParaStor分布式存储在HPC存储系统的技术创新和开发中一直发挥着重要作用.

我记得很多年前，在中国，第一台HPC星云的测量性能超过一万亿倍. 当时，系统峰值达到每秒3万亿次（3PFlops），而测得的Linpack值达到每秒1.271万亿次. ParaStor200是支持“星云”的存储系统.

后来，在“ Skyeye” FAST的HPC解决方案中，对计算和存储性能的要求非常苛刻，与此同时，需求也出现了爆炸性增长. 数据和计算量“非常大”. 在此解决方案中，我们还看到了ParaStor的重要贡献.

当然，ParaStor的成功故事并不局限于此. 这也是因为ParaStor在技术迭代和产品创新方面保持了良好的发展速度，因此成为了中国HPC存储市场不可或缺的明星. 据不完全统计，到目前为止，ParaStor正在管理1,000 PB以上的存储容量，并且已经进入“ EB级存储”.

在回顾ParaStor过去十年的发展历史时，每一代ParaStor都具有每一代的特性，它也代表了当时HPC存储领域性能和技术的领先水平.

第一代ParaStor基于HPC的特定计算和网络功能开发了HPC分布式存储的基本特征，为HPC在HPC存储市场中的未来奠定了坚实的基础.

ParaStor 200和300属于第二代. 在行业应用程序的深度优化方面，已经进行了许多升级和优化，包括更有效的RDMA技术支持，优化的文件大小读写性能优化以及分类. 存储支持等，以及对云和大数据的接口支持.

ParaSto300S属于第三代. 在2018年正式在国内市场首次亮相后，它表现出了更高的性能，效率，可扩展性和更全面的企业级功能. 同时，存储资源管理效率得到了进一步提高，可以更好地满足新一代HPC应用程序的需求.

通过进一步分析，ParaSto300S在各个方面均取得了技术突破和创新，从而有助于提高HPC存储的整体容量:

一方面，重塑存储架构，以实现业界对对称和非对称架构的罕见支持，以满足不同用户对TCO和性能的不同需求.

换句话说，在商业存储系统中，ParaSto300S创新地实现了一种软件和两体系结构的群集方法，该方法使用户可以根据实际数据规模和I / O特性灵活选择部署方法，以最大程度地提高性能. 硬件资源的利用效率为HPC存储用户带来了更高的投资回报.

第二方面，基于新设计的磁盘管理模块，它直接管理HDD，SSD，NVMe SSD等各种类型的介质，并有效地提高了存储资源的使用效率. 块级管理可以有效地集成上层应用程序请求，并将随机随机IO“聚合”到连续IO中. 在数据访问和小文件修复方面，性能优化效果惊人.

在三个方面，再次改善了高速网络的资源优化，并进一步优化了RDMA效率. 在相同资源下，网络并发性大大提高，性能提升性能更加突出.

在四个方面，ParaStor300S在外部支持多种存储访问协议. 同一集群还提供高性能POSIX，集群NAS和S3对象接口，以支持更广泛的应用场景.

总体而言，ParSto300S全局单一名称空间可以为用户构建EB级虚拟存储池. 所有客户端都可以共享和访问同一命名空间中的所有数据，从而可以简化海量数据管理的复杂性.

此外，相同的Web界面可用于管理多套ParaStor300S存储系统，这有助于用户统一操作和维护多个集群. 因此，它可以为HPC存储用户带来更好的实际应用体验.

除此之外，关键行业正在蓬勃发展并取得成果.

在ParaStor分布式存储的不断创新过程中，Sugon Multi-control统一存储也齐头并进. 2018年，发布了最新一代的DS800-G30系列产品. 目前，ParaStor和DS800-G30在HPC领域有很好的分工. DS800-G30主要定位非计算支持存储的支持. 通过存储阵列进行存储和归档偏向于企业级信息应用方案.

新一代DS800-G30系列

因此，在对性能，可伸缩性和成本有苛刻要求的领域（尤其是在HPC存储中），ParaStor仍然是“主角”. 但这并不止于此.

根据惠润海的说法，曙光存储在过去的一年中在运营商，气象和环境保护，视频监控，生物基因，能源等关键行业取得了突破性发展. 其中，ParaStor的价值得到了进一步发挥，并在关键行业中“开花结果”.

在运营商领域，我们取得了持续发展的良好成果. 继金融业之后，Sugon的高密度存储模型已入围中国移动和中国电信的集中采矿项目. 产品的可靠性和存储成本是客户认可的基础.

在气象和环境保护领域，它充分证明了ParaStor的海量数据存储和处理的效率和健壮性. 经过深入的调整和优化，曙光公司基于ParaStor分布式存储产品，为国家气象局建立了一个高达23PB的生产存储资源库，并正式投入运营. 在高峰运行期间，该系统同时为3000多个计算节点提供存储共享服务，并汇总了超过数百GB / s的访问带宽，为多种应用模式保驾护航的天气变化预测和气候变化预测.

在视频监控领域，基于ParaStor的坚实基础，已经实现了人工智能，数据存储和大数据应用程序等许多方面的集成. 截至2018年，曙光公司已为宜昌（全国45个示范城市之一）提供了总计60 PB以上的分布式存储空间，可访问超过18万台高清摄像机，并且市县总存储量更多超过20,000. 目前，该项目已成为全国先进的示范项目，并已在全国许多省市复制推广. Dawning旨在为视频监控应用提供开放的通用存储解决方案. 凭借自身的影响力和产品技术实力，曙光公司已成功与该项目中的50多家主流制造商的视频监控平台和视频分析应用程序对接. 增加了将近10个战略合作伙伴，以为智慧城市，交通和监狱创建集成解决方案.

在能源行业中，根据企业用户的需求，Sugon Storage仍可以长期提供核心支持功能. 曙光DS900高端多控统一存储连续两年中标中石油中央采油项目，构建了中石油两个中心和三个中心的核心信息系统. 在2018年，ParaStor在石油和电力行业总共部署了数十PB的数据，并与主流商业软件相集成. 适应性和深入的性能优化是Sugon赢得中石油，中石化和中海油等庞大用户群的核心优势.

在生物基因领域，ParaStor已显示出完美的应用程序匹配和高性能.

曙光ParaStor帮助天坛医院完成高通量基因组数据处理和智能病理图像识别系统建设项目，通过超高通量性能极大提高了测序数据和图像数据的科研质量，缩短了研究周期，并降低了研究成本. 第二代基因测试仪照明系统和主流应用软件的长期对接测试和优化是Sugon在该领域扎根的基础. ParaStor对生物信息复杂应用软件的完美适应以及均衡和稳定的性能被授予了国家医疗大数据中心. 客户印象深刻.

从这些关键行业的发展来看，Sugon Storage拥抱变化，积极部署，继续发扬扎根技术和积极创新的传统，并在很长一段时间内继续增加对存储技术和产品的研发投资. 据报道，2019年还将推出分布式块存储产品和分布式统一存储产品，其中ParaStor强大的技术基因当然是必不可少的. 同时，在NVMe全闪存产品的布局中，也有明确的路线图. 值得期待.

摘要: 不仅是计算，还不仅仅是存储

随着大数据和云计算的发展，相互集成的趋势也已经出现. HPC和大数据的结合已经引起了业界的广泛关注. 同时，在AI和HPC的结合中，Sugon具有新的措施和前瞻性的准备.

一方面，曙光与视频监控和人工智能领域的公司长期合作，形成了AI领域的行业生态合作，依靠ParaStor提供全面的数据存储支持，包括人脸识别应用，语音，视频，小图片数据处理等.

另一方面，Sugon基于HPC，云中心和大数据中心的集成推出了高级计算中心. 目前超级计算机top500排行榜，合肥，兰州，太原，西安，福州等地正在逐步建立先进的计算机产业创新体系. 中心.

截止目前，曙光已经基本完成了高级计算领域的整个产业链布局，包括E级超级计算，液冷绿色计算，人工智能计算，大数据计算，云计算和云操作系统. . 当然，ParaStor在各种布局数据的存储中仍然发挥着重要作用.

这表明从全球超级计算的前500名列表中，我已经看到了全球HPC开发的当前状态，并让我看到了该列表背后的存储能力.

ParaStor在HPC和Dawning的关键行业中的表现也向我展示了新一代并行分布式存储系统的价值.

不仅仅是计算，也不仅仅是存储.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-159921-1.html