了解分布式系统和Hadoop

摩尔定律在过去的几十年中一直适用于我们，但是解决计算问题不能仅仅依靠制造越来越大的服务器. 另一种解决方案已普及，它是将许多低端/商用计算机组织在一起以形成具有特定功能的分布式系统.

为了理解流行的分布式系统（通常称为横向扩展）与大型独立服务器（通常称为向上扩展）之间的比较，需要考虑现有I / O技术的性能价格. 对于具有4个I / O通道的高端计算机，即使每个通道的吞吐量为100 MB /秒，读取3 TB数据集也需要3个小时！使用Hadoop，同一数据集被划分为较小的块（通常为64 MB），并通过Hadoop分布式文件系统（HDFS）分布在群集中的多台计算机上. 通过适度的复制，群集可以并行读取数据，从而提供高吞吐量. 这样一套通用机器比高端服务器便宜！

前面的解释充分展示了Hadoop相对于独立系统的效率. 现在，让我们将Hadoop与其他分布式系统架构进行比较. 众所周知的方法是SETI @ home，它使用世界各地的屏幕保护程序来协助寻找外星生命. 在SETI @ home，一台中央服务器存储来自太空的信号，并将其发布到世界各地的客户端桌面，以查找异常迹象. 此方法将数据移动到将要进行计算的位置（桌面屏幕保护程序）. 计算后，将存储返回的数据结果.

Hadoop处理数据的概念不同于SETI @ Home和其他机制. SETI @ home需要在客户端和服务器之间重复传输数据. 尽管这可以很好地适应计算密集型工作，但是在处理数据密集型任务时，由于数据量大，数据移动变得非常困难. Hadoop强调将代码迁移到数据，而不是相反. 参考图1-1分布式系统理解，我们看到Hadoop集群同时包含数据和计算环境. 客户端只需要发送要执行的MapReduce程序，这些程序通常很小（通常为几千字节）. 更重要的是分布式系统理解，将代码迁移到数据的概念适用于Hadoop集群本身. 数据在群集中进行拆分和分布，并且尽可能在同一条数据所在的计算机上对一条数据进行计算.

此代码到数据迁移的概念符合Hadoop的数据密集型处理的设计目标. 要运行的程序（“代码”）比数据小几个数量级，并且更易于移动. 此外，在网络上移动数据比在其上加载代码要花费更多的时间. 最好不要移动数据并将可执行代码移到数据所在的计算机上.

现在您知道Hadoop如何适合分布式系统的设计，让我们看看它与常规数据处理系统（SQL）的比较.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-211733-1.html