曙光信息产业并行文件系统技术支持中心简介

并行文件系统简介曙光信息产业技术支持中心目录和文件系统介绍影响文件系统的因素并行文件系统简介文件系统文件系统是一种用于标识磁盘或分区上文件的操作系统. 和数据结构；即组织磁盘上文件的方法. 它还取决于用于存储文件的磁盘或分区，或文件系统的类型. 操作系统中负责管理和存储文件信息的软件组织称为文件管理系统，或简称为文件系统. 文件系统是操作系统的重要组成部分. 通过操作系统管理的存储空间的抽象，为用户提供了一个统一的，面向对象的访问接口，从而屏蔽了物理设备的直接操作和资源管理. 文件系统类型: FAT，NTFS，EXT2，EXT3，EXT4，HFS，ReiserFS，VMFS，JFS，UFS，VXFS，ZFS，ButterFS，RAW文件系统本地文件系统和分布式文件系统本地文件系统本地文件系统物理存储资源由文件系统管理的文件直接连接到本地节点，并且可以通过系统总线直接访问处理器. 分布式文件系统分布式文件系统是由文件系统管理的物理存储资源. 它不一定直接连接到本地节点，也不必通过计算机网络连接到节点.

在高性能计算中，它被称为并行文件系统. 并行文件系统是在多计算机环境中使用的网络文件系统. 单个文件的数据以条带等形式存储在不同的I / O节点上，支持多台机器和多个进程的并发访问，并支持元数据和数据的分发和存储，并提供单个目录空间. 可扩展性: 应用程序在不断变化，系统规模也在不断变化. 这就要求系统提供良好的可伸缩性，并适应容量，性能和管理方面的应用程序变化. 可管理性: 随着数据量的快速增长，存储的规模越来越大，存储系统本身也越来越复杂，这给系统的管理和运营带来了很高的维护和服务要求: 无法响应应用程序要求. 提供不同的服务，例如不同的应用程序，不同的客户端环境，不同的性能等. 存储系统的应用程序要求集群系统架构在传统的分布式文件系统（NFS）中，所有数据和元数据都存储在一起并通过单个存储服务器提供. 该模式通常称为带内模式. NFS体系结构传统的分布式文件系统不支持分布式文件系统的高级功能，例如数据复制和负载平衡. 容易出现系统性能瓶颈；对远程服务的支持不强. NFS的优缺点使用存储区域网络（SAN）技术，将应用程序服务器直接连接到存储设备，大大提高了数据传输容量，减少了数据传输延迟.

元数据服务器仅提供有关文件信息的元数据，减少了数据传输的中间环节，提高了传输效率，减轻了元数据服务器的负担. 每个元数据服务器可以吐出更多的应用程序服务器以提供文件系统元数据服务. 此模式通常称为带外模式. 新的分布式文件系统结构Lustre，开源GFS，RedHat商业软件通用并行文件系统PVFS是开源的，于1998年发布，并在GNU公共版权证书下发布. 它不需要特殊的硬件设备和内核修改，并且可以直接应用于廉价的Linux集群. 到目前为止，PVFS有两个重要的版本: PVFS1是早期版本，并且在运行期间存在严重的单点故障. 一旦管理服务器出现故障，整个系统将无法正常运行；而且，PVFS程序开发人员认为代码写得太混乱了，因此他们组织并重写了PVFS的源代码，并发布了PVFS2. 在PVFS2中，管理服务器不是单独设置的，但是运行IOD进程的每个节点都可以接管管理服务器的功能，以改善系统的单点故障. 为应用程序提供高性能的数据访问方法. PVFS管理节点（mgr）运行元数据服务器并处理所有文件元数据（元数据是描述文件信息的文件）. I / O节点（iod）运行I / O服务器. 存储文件系统的文件数据. 负责数据的存储和检索. 计算节点处理应用程序访问. 使用libpvfs的客户端I / O库，从底部访问PVFS服务器I / O节点. 计算节点是群集节点. 这些功能之一也可以同时提供其中两个或全部三个. PVFS在打开，关闭，创建或删除文件时，计算节点上的应用程序通过libpvfs与元数据服务器直接通信，并将其放置在管理节点上. 一个文件之后，它吐出该应用程序以返回文件位置，然后使用libpvfs直接联系相应的I / O节点来执行读取和写入操作，而不必与元数据服务器进行通信，从而大大改善了访问效率. PVFS操作系统机制的容错能力有待改进: 数据没有采用相应的容错机制，并且没有文件锁具有较差的可伸缩性，并且在应用程序规模较大时很容易导致服务器崩溃.

需要增强系统可伸缩性: PVFS使用静态配置，不具有动态可伸缩性. 如果要扩展I / O节点，系统必须停止服务并且不能合理利用空间. PVFS目前不是商业公司最终确定的产品，而是基于GPL开放许可证的开放技术. 尽管免费使用该技术进一步降低了整个系统的成本，但由于没有发行公司，因此很难保证一系列服务，例如该技术的后续升级和维护. PVFS Luster是由HP，英特尔，集群文件系统和美国能源部开发的Linux集群并行文件系统. 它起源于卡内基梅隆大学NASD项目的研究工作，并已广泛用于大学，实验室和超级计算研究中心. Sun称Lustre为“当前世界上具有最佳扩展性的并行文件系统”. 现在，全球排名前10位的超级计算机中有6个和TOP100超级计算机中有40％使用此系统. 光泽光泽元数据存储不受管理. MDS负责管理元数据并提供全局名称空间. 客户端可以通过MDS读取存储在MDT上的元数据. Lustre中可以有2个MDS，它们使用Active-Standby容错机制. 如果其中一个MDS无法正常工作，则另一个备份MDS可以启动服务.

只能有一个MDT，并且同一MDT可以在不同的MDS之间共享. 文件数据存储不管理OSS负载以提供I / O服务，而是接受来自网络的请求. 通过OSS，您可以访问OST上存储的文件数据. 一个OSS对应2到8个OST. OST上的文件数据以条带形式保存，文件的条带可以存储在一个OSS或多个OSS中. Lustre的特征之一是其数据是基于对象函数存储的，这与传统的基于块的存储不同. Lustre系统访问入口Lustre通过客户端访问系统，该客户端是安装Lustre文件系统的任何节点. 客户端在Linux下的VFS（虚拟文件系统）和Lustre系统之间提供接口. 通过客户端，用户可以访问和操作Lustre系统中的文件. Lustre Lustre访问机制客户端MDS OSS目录操作，文件打开/关闭，元数据，分发操作文件内容，IO和文件锁定恢复，文件状态和文件创建Lustre系统可以同时运行1〜3个功能模块. Lustre通常在高性能计算机系统上运行. 为了提高Lustre文件系统的性能，MDS，OSS和Client通常在Lustre的不同节点上分别运行.

该实验不适用. 事实证明，Lustre文件系统的性能和可伸缩性都不错. 它还具有基于对象的智能存储lustre并行文件系统，安全的身份验证机制和相对完整的容错机制的优点. 文件锁定功能: 与PVFS相比，Lustre的可用性，可伸缩性和性能得到了极大的提高. 但是，Lustre需要特殊设备的支持，并且Luster尚未实施MDS的集群管理. 尽管与PVFS的单个MDS相比，Lustre的双MDS的可用性仍然没有提高，但是当系统达到一定规模时，MDS仍然很可能成为Lustre系统的瓶颈. Luster并行文件系统与并行文件系统的比较Sugon Parastor Sugon Parastor Sugon Parastor Sugon Parastor Sugon Parastor影响并行文件系统因素网络带宽网络带宽通常决定Lustre文件系统的总带宽. 以太网的理论吞吐率是128MB / s . 千兆以太网单线程单条带的测得吞吐速率约为112MB / s. 如果增加条带数量并且无法获得良好的光泽可扩展性，Lustre出版的千兆以太网端到端Lustre的吞吐速率为118MB / s. 影响并行文件系统的因素硬盘，RAID和具有不同接口（固态驱动器，FC，SAS，SATA硬盘驱动器）的硬盘的传输速率不同. 各种RAID级别的吞吐率不同，RAID0最快，但是最不安全，RAID1最安全，但是吞吐率很低，通常使用RAID5. 创建RAID时，每个条带单元的大小（块大小）决定一次写入阵列中每个磁盘的数据量. 在不同负载下，它对阵列的读写性能有很大影响. 一般来说，块大小值越小，性能越好，但是块大小过小，这将对Lustre I / O性能产生更大的影响. 影响.

主机接口与存储有很大不同lustre并行文件系统，并且有infiniband，FC和SAS等接口. 影响并行文件系统块大小（recordsize）的因素影响并行文件系统块的因素条带化条带化是Lustre发送IO能力的关键. 当使用Lustre时，有3个与条带相关的参数会影响Lustre性能. 一个是条带大小，一个是条带数量，另一个是条带的起始编号. 在设置Lustre使用的块的起始块号时，请始终将其设置为-1，以确保OST之间的负载平衡，并防止由于单个OST争用而导致的性能瓶颈；块的大小（stripe-size）条带的数量（stripe-count）是文件的大小. 当stripe-count的值固定时，stripe-size的值取决于文件的大小. 影响并行文件系统的因素谢谢！谢谢！

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-213355-1.html