[转载]对分布式系统的了解

发送Linux限量版T恤！ >>>

我经常听到“分布式系统”，“分布式计算”，“分布式算法”. 分布式的具体含义是什么？狭窄的分布意味着多台PC在地理上分布在不同的地方.

分布式系统: 由可以独立运行的多台计算机（称为节点）组成. 每个节点都使用计算机网络传输信息，从而实现共同的“目标或任务”.

分布式程序: 在分布式系统上运行的计算机程序.

分布式计算: 使用分布式系统解决计算问题. 在分布式计算中，一个问题被细化为多个任务，每个任务可以由一台或多台计算机完成.

区分分布式计算和并行计算: 共同点是将大任务分为小任务. 差异: 分布式计算: 基于多台PC，每台PC完成同一任务的不同部分. 分布式计算被分为彼此独立的小任务，节点之间的结果几乎不会相互影响，对实时性的要求不高. 并行计算: 基于同一台PC，使用多核CPU完成任务.

1）分布式操作系统

分布式操作系统: 负责管理分布式处理系统资源和控制分布式程序的运行. 它在资源管理，过程通信和系统结构方面与集中式操作系统不同.

2）分布式文件系统

分布式文件系统具有执行远程文件访问以及以透明方式管理和访问网络上分发的文件的能力.

3）分布式编程，编译和解释系统

分布式编程语言用于编写在分布式计算机系统上运行的分布式程序. 分布式程序由几个可以独立执行的程序模块组成. 它们分布在分布式处理系统中的多台计算机上，并同时执行. 与集中式编程语言相比，它具有分布，通信和鲁棒性三个特征.

分层的应用程序可以分为多个层，信息可以从数据层（通常存储在中）传输到表示层（显示在客户端上）. 通常，与其他层相比，每个层都在不同的系统中运行，或者在同一系统中的不同过程空间中运行. 分层利益: 降低整个应用程序的复杂性；使应用程序能够更好地扩展，并满足企业发展的需求.

3）分布式

我的看法

: 分布式由在不同位置（地理分布）连接（基于计算机网络连接）的不同位置连接的多个（称为站点）组成. 分布式DBMS用于每个站点的统一管理，并且每个站点在逻辑上是统一的. 基于数据分发的透明性高性能计算机并行文件系统，似乎在单个站点上管理数据. 它的优点是: 容错和提高访问速度.

Wiki官方解释: 分布式是通过将多个物理分散的单元与计算机网络连接而形成的逻辑统一. 每个连接的单元都称为站点或节点. 分布式具有一个统一的管理系统来对其进行管理，称为分布式管理系统.

分布式的基本特征包括: 物理分布高性能计算机并行文件系统，逻辑完整性和站点自治. 从这三个基本特征中可以得出的其他特征是: 数据分发透明性，集中和自主的控制机制，适当的数据冗余以及事务管理分发. 根据每个站点的管理系统数据模型的异同，将分布式分为异构分布式和同类分布式，并根据控制系统的类型分为全局控制集中，全局控制分散和全局控制可变

我的看法:

Hadoop是分布式系统的基本框架. 基于此框架，开发了分布式应用程序，并利用了集群高速计算和存储的功能. 同样，并行程序是根据NVIDIA的CUDA并行架构开发的，并利用了GPU的并行计算功能.

HDFS是Hadoop的文件系统. 基于HDFS，您可以对文件执行操作，例如创建，删除，编辑，重命名等.

HBase: 基于Hadoop架构的系统. 不是基于列的关系.

Hive: 基于HBase的高级语言. 类似于SQL-一种用于访问和处理关系的计算机语言.

官方解释:

Hadoop是由Apache Foundation开发的分布式系统基础结构. 用户可以开发分布式程序，而无需了解分发的基本细节. 充分利用高速集群计算和存储的功能.

HDFS（Hadoop分布式文件系统）是由Hadoop实现的分布式文件系统. 它将文件存储在Hadoop集群中的所有存储节点上. 对于外部客户端，HDFS就像传统的分层文件系统. 您可以创建，删除，移动或重命名文件等. 但是，HDFS的体系结构基于一组特定的节点. HDFS中存储的文件分为多个块，然后将这些块复制到多台计算机（DataNode）. 这与传统的RAID体系结构有很大不同. 块的大小（通常为64MB）和复制的块数由客户端在创建文件时确定. NameNode可以控制所有文件操作. HDFS中的所有通信均基于标准的TCP / IP协议.

HBase – Hadoop是一种高可靠性，高性能，面向列的可扩展分布式存储系统. HBase技术可用于在便宜的PC服务器上构建大型结构化存储集群. HBase是Apache Hadoop项目的子项目. HBase与一般的关系不同，它是适用于非结构化数据存储的. 另一个区别是HBase基于列而不是行. Hadoop HDFS为HBase提供高可靠性的基础存储支持，Hadoop MapReduce为HBase提供高性能的计算功能，而Zookeeper为HBase提供稳定的服务和故障转移机制. 此外，Pig和Hive还为HBase提供高级语言支持，从而使HBase上的数据统计处理非常简单. Sqoop为HBase提供了方便的RDBMS数据导入功能，这使得将传统数据迁移到HBase中非常方便. HBase的数据模型和存储结构，参考

Hive是基于Hadoop的数据仓库工具. 它可以将结构化的数据文件（例如xml）映射到表，并提供完整的SQL查询功能. 它可以将SQL语句转换为MapReduce任务以运行. 优点是学习成本低，并且可以通过类似SQL的语句快速实现简单的MapReduce统计信息. 无需开发特殊的MapReduce应用程序，该应用程序非常适合数据仓库的统计分析.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-240085-1.html