集群并行文件系统介绍

ASIPP集群平台介绍报告人: 导 师:朱应飞 罗家融 研究员2019年12月21日1ASIPP报告主要内容一． 文件系统介绍 二． 集群文件系统 三． 常用集群文件系统 四． Lustre介绍2ASIPP一 、集群硬件模式机构集群的工具机制机构： ?操作系统： 任何计算机平台的硬件基础 ?并行开发库： 用于集群中进程通讯的软件库 ?作业管理： 调度作业并管理集群平台的资源 ?系统管控： 管理和监控整个集群平台 ?开发环境： 开发和安装高效能应用的研发软件 ?标准应用： 一些标准的高性能应用如CFD ?客户应用： 客户非常定制的应用3ASIPP二、集群操作系统操作系统：并不是每种操作系统都合适集群平台 ?单任务操作系统：CPU同时只处理任务队列中的一个任务 ?多任务操作系统：基于分时技术的多任务操作系统 ?多CPU多任务操作系统：在某个时间点上，多个进程同时运行a) 多CPU多任务操作系统+线程 b) 多CPU多任务操作系统+消息释放 我们的集群使用多CPU多任务操作系统+消息释放系统。它由SMP和PC服务器组成， 以Linux为操作系统，以MPI或PVM这种消息释放模式成为通信方式4ASIPP三、集群文件系统文件系统是操作系统的重要构成部分，用于储存程序和数据怎样在各节点间高效、一致和简捷的推动数据共享是集群平台对文件系统强调的挑战3.1、分布式文件系统：相当于本地文件系统，有如下特点： ?网络透明：对远程和本地的文件访问可以借助同样的平台调用完成 ?位置透明：文件的全模式无需和文件传输的服务绑定，服务器的名称或地址并不是文件模式的一部分 ?位置独立：正是由于服务器的名称或地址并不是文件模式的一部分，所以文件 存储的位置的改变并不会导致文件的模式颠覆分布式文件系统可以使集群的结点间简捷地推动共享。

但是为了提供性能，分布式文 件平台一般应该使用本地的缓存, 它很难保证数据在集群平台范围的一致性。而且往 往分布式文件系统中唯有一份数据，所以很容易发生单点失效。5ASIPP三、集群文件系统3.2、并行文件系统构建在共享磁盘上的并行文件系统可以消除分布式文件系统的这种特点 通过使用在节点共享的储存设施，并行文件系统具备这些特点： ? 高可用性：克服了分布式文件系统中那个服务器端的单点失效的优点，提高了文件系统的可用性 ?负载均衡：有多个访问点，彼此可以协调负载 ?可扩展性：容易扩展容量和访问的时延6ASIPP三、集群文件系统3.3、集群中的数据共享方式集群中使用的数据共享的方式常用的有： ?rsync是构建在本地文件系统之上 ?NFS和Inteemezzo属于分布式文件系统(确切的说，NFS只是网络文件系统) ?GFS属于并行文件系统 ?Backend-database则属于不同于文件共享的另一种形式的共享。7ASIPP三、集群文件系统rsync方式适用于静态网站和小的FTP站点rsync是一种简单的文件共享 实现方法 集群中的每位节点都有一份 数据复本，复本间使用rsync 进行同步 因为节点必须的数据就在本 地，所以这些方式具备很好 的可用性，不会出现单点失 效现象适用环境： 需要共享的数据量很小，而 且极少更新8ASIPP三、集群文件系统NFS方式适合于共享访问数据量不大的中型集群平台传输节点通过NFS将自己本地的 文件输出，其他节点则把内存 节点输出的文件系统mount到本 地文件系统NFS方式的存在两个很大的优点： ?性能差：因为所有的文件访问 都需要经过网络和NFS服务器， 所以在访问流量非常大的状况 下，网络时延和NFS服务器都会 成为平台的瓶颈。

?单点失效：如果NFS服务器的 系统失效甚至网络失效都会使 得其它节点能够受到数据，从 而使整个集群系统瘫痪。9ASIPP三、集群文件系统GFS(Global File System)实现了 存储设施的网络共享GFS的主要特点在于： ?高可用性：一个GFS客户失效，数 据还可以借助其它GFS客户访问 ?扩展性：不需要中心服务器，很 容易扩展存储容量和访问时延GFS可以将物理上分离的储存设施 虚拟为一个存储并且能平衡访问负 载GFS实现了文件锁和即时文件系统10ASIPP三、集群文件系统Intermezzo实现了一个分布式的 文件系统它搭载C/S模式，服务器拥有权威 的数据，客户节点仅有本地缓冲 的版本，通过普通的网络进行同 步Intermezzo支持断开连接下文件 操作，在以后修复连接时，它会 集成本地的削弱到服务器上Intermezzo拥有象GFS一样的可 用性和可扩展性。但它能够确保 数据的即时一致性11ASIPP三、集群文件系统基于后端的共享是完全 不同于文件共享的方法 后端系统解决了数据的 一致性、性能、可用性和可扩 展性问题 但是的访问方式要比文 件访问复杂的多12ASIPP四、常见并行文件系统现在我们集群上用的是Linux自带的NFS(Network File System)文件系统，而 不是并行文件系统所谓并行文件系统，是指应用于多机环境的网络文件系统，单个文件的数据 采用分条等方式放置于不同的I/O节点之上，支持多机多个进程的并发存取， 同时支持元数据和数据的分布放置，并提供单一的目录空间推动一个完整的并行文件系统并行文件系统，需要推动如下两个方面： ?实现单一的文件映像，并行文件保存在盘阵上的详细分布状况对于用户来说 是透明的，并行文件系统在用户看来是一完整的树型结构，在调用时即使给 出文件名即可 ?采用条和分区技术，支持一个文件数据在多个磁盘之上和多个进程之间的分 布，即多个进程并发读写多个磁盘上的数据13ASIPP四、常见并行文件系统常用并行文件系统有： ?GPFS IBM的产品，是开源的 ?PVFS是开源的 ?Lustre 是 Cluster File System 公司的产品，是开源的 ?GFS (Red Hat)、IBRIX是商业工具14ASIPP五、开源并行文件系统5.1 、 GPFS通用并行文件系统GPFS 是 IBM 共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )作为这项科技的核心， GPFS 是一个并行的磁盘文件系统，它确保在资源组内的 所有 节点可以并行访问整个文件系统，而且对于此文件系统的服务操作，可以同时安全地 在 使用此文件系统的多个节点上推动GPFS 允许用户共享文件，这些文件分布在不同节点的不同硬盘上，提供许多标 转的 UNIX 文件系统接口，允许应用不需修改以及再次编辑就可以在其上运行GPFS 也支持 UNIX 文件系统的软件，即：用户可以像使用普通文件系统一样使用基于 GPFS 的文件系统， 唯一不同的在于管理 GPFS 文件系统的命令GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它禁止任何节点（属于 同一个节点组）上的并行应用同时访问同一个文件以及不同的文件15ASIPP五、开源并行文件系统5.1.1 GPFS 文件系统特点：?提高平台性能：允许在同一nodeset内的多进程或者应用使用标准文件系统读取，同 时访问（并发 读写）同一个文件并行文件系统，通过将 nodeset 内读写操作分布到多个磁盘上， 大大增加了文件系统的 带宽，通过整个平台的负载均衡避免了某个磁盘过大的读写?数据一致性：允许任意节点通过 各自独立的模式到达同一个文件。

即使节点能够正 常工作，GPFS也可以找到其他的模式?数据安全性：一种日志文件系统，为不同节点创建各自独立的日志。日志种记录 metadata的分布，一旦节点出现故障后，可以确保迅速修复数据?系统可扩展性：系统资源可以动态微调，可以在文件系统挂载情况下添加以及删除硬 盘。可以在不重新启动 GPFS 服务状况下添加新节点?管理简单便捷：自动在各个节点间同步配置文件和文件系统信息，而且在同一个 nodeset 内，对GPFS 的管控可以在任一个节点上进行16ASIPP五、开源并行文件系统5.1.2 、 GPFS系统架构GPFS 系统架构如左图所示： GPFS kernel module extension Portability Layer module RSCT daemon GPFS daemonGPFS kernel module extension (mmfs) 核心扩展组件提供与 Linux 核心中 VFS （虚拟文件系统）的接口GPFS daemon (mmfsd) GPFS 守护进程是 GPFS 文件系统的核 心进程，多线程进程，负责与其他节点 的 GPFS 守护进程通信，来确保数据的 一致性17ASIPP五、开源并行文件系统5.2 、PVFS并行虚拟文件系统PVFS为Linux集群提供了高性能和可扩充行的并行文件系统 PVFS提供重要的4个功能： ?一致性的访问名字空间 ?支持现存的平台访问模式 ?数据分布在集群结点不同机器不同的内存上 ?为应用程序提供高性能的数据访问模式18ASIPP五、开源并行文件系统PVFS逻辑构架视图PVFS使用了三种类别的节点：?管理节点(mgr)：运行元数据服务器， 处理所有的文件元数据（元数据是描 述文件信息的文件）?I/O节点(iod)：运行I/O服务器，存 储文件系统的文件数据，负责数据的 存储和检索?计算节点：处理应用访问，利用 libpvfs这一客户端的I/O库，从底层 访问PVFS服务器I/O节点计算结点则一个集群的节点 可以提供其中的一种功能，也可以同 时提供其中的两种甚至全部三种用途19ASIPP五、开源并行文件系统PVFS的运行机制如左图所示：?当开启、关闭、创建或删除一 个文件时，计算节点上的一个应 用借助libpvfs直接与元数据服 务器通信?在管控节点定位到一个文件之 后，它向这个应用返回文件的位 置，然后使用libpvfs直接联系 相应的I/O节点进行读写操作， 不必与元数据服务器通信，从而 大大提高了访问效率20ASIPP五、开源并行文件系统5.3、Lustre集群文件系统 Lustre 集群文件系统（CFS）是一种新兴的集群文件系统工具，显著提升了I/O速 度，降低企业购入存储设施的费用 集群文件系统即将在学校、实验室和超级计算研究中心等受到广泛应用，而且慢 慢进入通用商业计算领域 开源的Lustre技术由美国能源部开发，惠普公司提供商业支持，惠普公司发布了 可扩展文件系统（Scalable File Share）第2版，此产品是今年元旦启用，包含 一台服务器和一个软件包，使用Lustre技术来分布集群内的传输服务 SFS（Scalable File Share）系统允许集群里的Linux节点能以高达每秒35GB的速率 读取数据，而且允许高达 512TB的总内存容量21ASIPP五、Lustre 集群文件系统（CFS）Lustre是基于Linux平台的一 个可扩展的集群文件系统， 它使用基于对象的（存储） 设备管理，用来代替以前的 磁盘块Lustre系统的模块主要有三 部分组成：?MDS元数据服务器 ?OSS目标内存服务器 ?Lustre客户端22ASIPP汇报结束！谢 谢！23

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-127863-1.html