lustre（pdf页面）

Lustre文件系统[转载]历史记录Luster是由HP，Intel，Cluster File System和美国能源部开发的Linux群集并行文件系统. 它来自卡耐基梅隆大学NASD项目的研究工作. Lustre文件系统在2003年推出了1.0版，现在已经发布了1.4.7版. Lustre最初用于美国能源部（能源部: DOE），劳伦斯·利弗莫尔国家实验室，洛斯阿拉莫斯国家实验室，桑迪亚国家实验室和太平洋西北国家实验室的高性能计算系统. 正在开发的IBM Blue Gene系统还将使用Luster文件系统来实现其高性能存储. 惠普的“ StorageWorks可扩展文件共享”（HP SFS，可扩展文件共享）是首个使用Lustre技术的商业产品. 作为第一个基于对象存储设备的开源分布式并行文件系统，Luster可以说具有出色的性能并且正在越来越广泛地使用. 系统架构图1 Lustre的系统架构Luster是一个透明的全局文件系统. 客户端可以透明地访问群集文件系统中的数据，而无需知道数据的实际存储位置.

结构如图1所示. Lustre由一个客户端，两个MDS（一个正在运行，一个备份）和一个OST设备池组成，它们由高速以太网或QWS Net（QUALCOMM无线系统）组成. Lustre最多可以支持10,000个客户；两个MDS采用共享存储设备的Active-Standby容错机制；存储设备不同于普通的基于块的IDE存储设备，并且是基于对象的智能存储设备. 当客户端需要访问文件系统的文件数据时，首先访问MDS以获取与文件有关的元数据信息，然后直接与相关的OST通信以获取文件的实际数据. 客户端通过网络读取服务器上的数据，存储服务器负责实际文件系统的读写操作以及存储设备的连接，元数据服务器负责文件系统的目录结构，文件权限文件的扩展属性，以及维护整个文件系统的数据一致性和对客户端请求的响应. 因为Luster使用分离元数据和存储数据的技术，所以它可以完全分离计算和存储资源，因此客户端计算机可以专注于用户和应用程序请求. 存储服务器和元数据服务器专注于读取，传输和写入数据. 存储服务器端的数据备份和存储配置以及存储服务器扩展等操作不会影响客户端，并且存储服务器和元数据服务器都不会成为性能瓶颈.

Lustre的全局名称空间为文件系统的所有客户端提供了有效的全局唯一目录树. 全局目录树消除了客户端上的配置信息，并在更新配置信息时保持有效. 运行机制图2 Luster三个组件之间的关系Luster文件系统是一个高度模块化的系统，主要由三个组件组成: 客户端（Client），对象存储服务器（Object Storage Target，OST）和元数据服务器（MetaData Server） ，MDS）. 除了其独特的功能外，这三个组件还共享锁，请求处理和消息传递等模块. 为了提高Lustre文件系统的性能，通常将Client，OST和MDS分开，当然，这些子系统也可以在同一系统中运行. 客户端: 客户端: 为用户提供通过标准POSIX界面访问文件系统的权限. 对于客户. 客户端与OST进行文件数据交互，包括文件数据的读取和写入以及对象属性的更改. 它与MDS交互以获取元数据，包括目录管理和名称空间管理. OSTOST: 在Lustre中，OST负责实际数据的存储，并处理所有客户端与物理存储之间的交互. 该存储是基于对象的. OST将所有对象数据放在物理存储设备上，并完成每个对象的管理.

通过设备驱动程序在OST与实际物理存储设备之间进行交互. 通过驱动程序的功能，Lustre可以继承新的物理存储技术和文件系统，并扩展物理存储设备. 为了满足高性能计算系统的需求，Lustre为读取和写入大文件进行了优化，并为群集系统提供了更高的I / O吞吐量. OST上存储的文件可以是普通文件也可以是复制文件. Luster还可以阻止数据并将数据分发到各种存储服务器，从而提供了比传统SAN“块共享”更灵活，更可靠的共享访问方式. 当存储节点发生故障时，客户端仍然可以传递MDSMDS : : 在Lustre中，元数据管理是MDS的职责. MDS负责向客户端提供整个文件系统的元数据，管理整个文件系统的名称空间，维护整个文件系统的目录结构和用户权限，以及维护文件系统的数据一致性. 通过MDS文件和目录访问管理，Lustre可以控制客户端对文件系统中文件的创建，删除和修改以及目录的创建，删除和修改的访问控制. 客户端通过MDS获取数据所在的OST，并与之建立连接. 之后，在客户端和OST之间执行读取和写入操作. 除非对命名空间进行修改，否则它将不再与MDS相关，从而减轻了MDS的负担.

在有多个客户端的情况下，由于存在多个OST，上述工作模式将对文件系统的访问转换为并行操作，从而可以提高性能. 在Lustre中，客户端使用回写式缓存来确保元数据的一致性. Lustre系统可以配置有两个MDS服务器，其中一个用作备份. 这两个服务器使用共享存储来存储元数据. 当MDS发生故障时，备份服务器可以接管其服务，以确保系统正常运行. Luster打算在将来实现多个数据服务器，以提高元数据处理的性能和可伸缩性. 图3图3显示了一个简单的mkdir流程. Lustre中“ mkdir”命令的执行需要经过以下步骤: 客户端首先从MDS申请“ mkdir”操作，然后MDS首先锁定操作的父目录，添加目录后，成功后将目录锁返回给客户端，然后客户端与特定文件服务器通信以创建相关的目录错误恢复. Lustre在设计中考虑了对网格环境的支持. 一方面，它考虑了文件系统的安全策略lustre并行文件系统，包括身份验证，授权和文件内容加密. 另一方面，它考虑将管理和系统状态监视与网格相结合. 其配置信息和状态信息采用XML格式，由LDAP（轻型目录访问协议）接口提供，用于处理配置信息，并且可以支持通过SNMP获取和修改这些信息.

图4 MDS错误恢复Lustre还充分考虑了设计期间系统故障期间的错误恢复情况. 如图4所示，当系统正常运行时，前台有活动的MDS服务器，而备用MDS服务器. 当前MDS服务器出现故障时，客户端将通过查询LDAP服务器自动切换到备用MDS服务器，以使系统可以恢复正常运行. 性能摘要从初步测试来看，Lustre的性能和可伸缩性可以说是相当出色的. 以下是Lustre的并发文件写入率和并发文件创建率与当今使用的主流文件系统的比较. 可以说lustre并行文件系统，就文件系统的主要性能指标而言，Lustre大大超过了竞争对手（GoogleFS是一家公司的产品，无法比拟），实现了可靠性，可用性，可伸缩性和可管理性. 高性能，海量，分布式的数据存储，可以根据不同的应用程序需求（例如不同的应用程序，不同的客户端环境，不同的性能等）提供不同的服务，真正实现按需服务.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-255293-1.html