分布式文件系统GFS .... ppt的云计算原理免费全文阅读

GFS有什么问题吗？ *欢迎阅读电子工业出版社主编的“云计算”教科书Liu Peng，该书已经结束* * * GFS: 安全性云计算I3安全性问题，身份，基础设施，信息（隐私）* * Liu Peng云计算分布式文件系统，电子工业出版社主编，支持课件的“云计算”教科书2分布式文件系统GFS Google分布式文件系统*什么是文件系统？ FAT，FAT32，NTFS，EXT ...……用于永久存储数据的系统通常涵盖数据组织的基本单位，例如基础物理存储介质上的硬盘，CD，磁带等: 带有文件名的文件通常支持（1.txt）分层嵌套（目录结构）*文件路径文件和目录的组合用于定位文件/ home / aaron / foo的绝对路径. txt相对路径，docs / someFile. doc规范路径找到文件/ home / aaron / foo的最短绝对路径. txt，/ home /. . /家/亚伦/. / foo txt所有规范路径的集合构成文件系统的目录结构*文件系统存储内容的主要内容: 用户的实际数据元数据: 驱动器元数据和文件元数据*文件块存储*文件系统设计注意事项最小存储较小的单元可以减少浪费的空间，而较大的单元可以提高顺序文件读取（随机访问？）的速度. 文件系统的设计目标是否是为了提高访问速度或利用率？文件系统安全性具有访问控制列表（ACL）的多用户环境中的文件安全性读/写权限分配文件文件系统缓存可提高文件系统的读写效率* Google需要支持大容量存储的文件系统来购买昂贵的分布式文件系统和硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ *为什么当时不使用现有文件系统？ Google面临的问题不同于不同的工作负载，并且设计与Google应用程序和负载兼容的文件系统需要不同的设计优先级（廉价，不可靠的硬件）. *硬件错误是正常现象，并非异常. 该系统应该便宜又昂贵. 2.脆弱的硬件组成必须保持文件系统的整体可靠性. 主要的负担是流数据的读写主要用于处理批处理数据的程序，而不是与用户交互或随机读写数据. “写入”很少需要存储大文件文件的存储大小可能约为GB或TB，并且应该能够支持存储数千个大文件*将文件分成几个块（块）存储每个块大小（64M）通过冗余提高可靠性. 每个数据块至少有3个数据块服务器. 冗余数据块损坏的可能性是多少？通过单个主机协调数据访问和元数据存储. 结构简单，易于维护元数据一致性. 没有缓存，为什么？ *单个主机云计算分布式文件系统，多个ChunkServer 1.文件存储方法2.数据读写过程GFS的体系结构是否存在问题？ *分布式系统设计告诉我们: 这是单点故障. 这是解决性能瓶颈GFS的解决方案. 单点故障问题使用多个（例如3个）影子主节点进行热备份. 一旦主节点损坏，将立即选择一个新节点. 主节点服务* GFS解决方案的性能瓶颈问题最大程度地减少了主节点对数据访问的参与. 不要使用Master来读取数据，仅用于保存元数据客户端缓存元数据使用大型数据块（64M）的数据修改要由Primary Chunk Server完成的命令简单，够用了！ *存储元数据文件系统目录管理和锁定与ChunkServer定期通信以发送指令，收集状态，跟踪数据块的完整性数据块的创建，复制和负载负载均衡ChunkServer的空间使用和访问速度，从而平滑数据存储的负载并访问请求，将数据块复制并分发到ChunkServer. 一旦数据块冗余的数量少于最小数量，请启动复制操作*日志中的垃圾收集记录中的Delete操作并重命名文件与传统的文件删除相比，隐藏文件的隐藏恢复更为简单和安全. 过时的数据块删除用于检测过时的数据块并将其删除. *使用中央服务器模型可以轻松地增加Chunk Server Master的状态来掌握系统中的所有Chunk Server. 方便进行负载平衡. 没有元数据一致性问题. *不缓存数据的GFS的文件操作大部分是流式读写，并且没有大量重复的读写. 使用高速缓存访​​问Chunk Server上的数据，性能几乎没有改善. 使用本地文件系统，如果经常读取块，并且文件系统具有高速缓存. 从可行性的角度来看，缓存和实际数据的一致性维护也极其复杂吗？ *在用户模式下，块服务器的文件系统用于直接访问块. 实现简单的用户模式应用程序调试相对简单，这有利于用户模式GFS的开发，不会影响Chunk Server的稳定性. 提供专用的访问界面. 没有提供标准的POSIX访问接口. 降低了GFS实施的复杂性* GFS容错机制. 块服务器的容错能力每个块具有多个存储副本（通常为3），每个块存储在不同的服务器上，每个块分为几个块（64KB），每个块对应一个32位校验码，以确保数据正确（如果块错误，则将其转移到其他块副本）* GFS容错机制主容错三种元数据类型: 名称空间（目录结构），块和文件名的映射以及位置块复制的信息. 前两种通过日志提供容错能力. 块副本信息存储在块服务器中，如果主服务器发生故障，则可恢复* *超过50个GFS群集. 每个群集包含数千个存储节点. 它管理PB（1015Byte）级的数据巨型，廉价且稳定的数据中心. *简单，这是最好的！ *

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-170490-1.html