Google分布式文件系统的优缺点？

全部展开

Google文件系统

为了满足Google快速增长的数据处理需求gfs文件系统特点，Google设计并实现了Google文件系统（GFS，Google File System）. GFS与过去的分布式文件系统具有许多相同的目标，例如性能，可伸缩性，可靠性和可用性. 但是，其设计也受到Google应用程序负载和技术环境的影响. 它主要体现在以下四个方面:

1. 群集中的节点故障是正常状态，而不是异常. 由于计算和处理中涉及的节点数量非常大，通常将数千个节点用于联合计算，因此gfs文件系统特点，总有时刻处于故障状态的节点. 需要软件程序模块来监视系统的动态运行状态，检测错误并将容错和自动恢复系统集成到系统中.

2. Google系统中的文件大小与普通文件系统中的文件大小概念不同. 文件大小通常以G字节为单位. 另外，文件在文件系统中的含义不同于通常的文件. 通常情况下，大文件可能包含大量小文件. 因此，必须重新考虑设计期望和参数，例如I / O操作和块大小.

3. Google文件系统中的文件读写模式与传统文件系统不同. Google应用程序中大多数文件的修改（例如搜索）不会覆盖原始数据，而是在文件末尾附加新数据. 几乎不存在随机写入文件的情况. 对于这种巨大文件的访问方式，客户端失去了数据块缓存的含义，附加操作成为性能优化和原子性（将事务视为程序. 它完全执行或完全不执行e799bee5baa6e997aee7ad94e78988e69d8331333332623936保证重点.

4. 文件系统的某些特定操作不再透明，需要应用程序的协助. 应用程序和文件系统API的协同设计提高了整个系统的灵活性. 例如，放宽了对GFS一致性模型的要求，从而使应用程序系统免于负担，并且大大简化了文件系统的设计. 还引入了原子附加操作，因此当多个客户端同时附加时，不需要其他同步操作.

简而言之，GFS专为Google应用程序本身而设计. 据称，谷歌已经部署了许多GFS集群. 一些集群具有1000多个存储节点和300T的硬盘空间，这些磁盘被不同计算机上的数百个客户端连续不断地访问.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-217418-1.html