如何获取并连续使用足够的集群计算资源

简单地说2113，分布式通过缩短单个任务5261、4102的执行时间来提高效率集群计算软件，而集群通过增加在单个1653位时间内执行的任务数来提高效率.

示例:

如果任务包含10个子任务，则每个子任务需要1个小时才能单独执行，然后在服务器上执行更改任务需要10个小时.

使用分布式解决方案，提供10台服务器，每个服务器仅负责处理一个子任务，无论子任务之间的依赖关系如何，只需一个小时即可完成此任务. （这种工作模式的典型代表是Hadoop的Map / Reduce分布式计算模型）

集群解决方案还提供10台服务器，每台服务器都可以独立处理此任务. 假设有10个任务同时到达，则10个服务器将同时工作，在10个小时后，将同时完成10个任务，因此，总体而言，一个任务将在1小时内完成！

以下是Internet文章的摘录:

首先，集群的概念

1. 两个主要功能

集群是一组服务实体，它们共同工作，以提供比单个服务实体更可扩展的可用性的服务平台. 从客户的角度来看，集群就像一个服务实体，但是实际上，该集群由一组服务实体组成. 与单个服务实体相比，该集群提供以下两个关键功能:

·可伸缩性-群集的性能不仅限于单个服务实体，可以将新的服务实体动态添加到群集中，从而增强群集的性能.

·高可用性-群集通过服务实体冗余使客户端免于服务中断警告. 在集群中，同一服务可以由多个服务实体提供. 如果一个服务实体发生故障，另一服务实体将接替发生故障的服务实体. 群集提供的从故障服务实体恢复到另一个服务实体的功能增强了应用程序的可用性.

2. 两项主要技能

为了具有可伸缩性和高可用性的特性，群集必须具有以下两个主要功能:

·负载平衡-负载平衡可以平衡地将任务分配到群集环境中的计算和网络资源中.

·错误恢复-由于某种原因，执行任务的资源失败，然后在另一个服务实体中执行相同任务的资源完成了该任务. 由于一个实体中的资源无法工作，因此另一实体中的资源透明地继续完成任务称为错误恢复.

负载均衡和错误恢复都需要资源来在每个服务实体中执行相同的任务，并且对于同一任务的每个资源，执行任务所需的信息视图（信息上下文）必须相同.

3. 两项主要技术

必须实现以下两种技术以实现集群:

·群集地址-群集由多个服务实体组成，并且群集客户端通过访问群集的群集地址来获取群集内每个服务实体的功能. 具有单个群集地址（也称为单个图像）是群集的基本功能. 用于维护群集地址的设置称为负载平衡器. 负载平衡器在内部管理每个服务实体的进入和退出，而外部则负责将群集地址转换为内部服务实体地址. 一些负载平衡器实现了真正的负载平衡算法，而某些仅支持任务转换. 仅实现任务转换的负载平衡器适用于支持ACTIVE-STANDBY的群集环境，在该环境中群集中只有一个服务实体. 当工作服务实体发生故障时，负载平衡器会将后续任务转移到另一个服务实体.

内部通信-为了协同工作并实现负载平衡和错误恢复，群集实体必须频繁通信，例如服务实体上的负载平衡器心跳测试信息以及服务实体之间的任务执行上下文信息.

具有相同的群集地址可使客户端访问群集提供的计算服务. 每个服务实体的内部地址都隐藏在群集地址下，因此可以将客户请求的计算服务分布在每个服务实体之间. 内部通信是集群正常运行的基础，它使集群具有平衡负载和错误恢复的能力.

第二，聚类分类

Linux群集主要分为三类（高可用性群集，负载平衡群集，科学计算群集）

高可用性群集（高可用性群集）

负载平衡群集（负载平衡群集）

高性能计算集群

具体包括:

Linux高可用性集群

（普通的两节点双机热备份，多节点HA群集，RAC，共享，无共享群集等）

Linux负载平衡

（LVS等...）

Linux高性能计算高性能科学计算集群

（Beowulf集群...）

三，详细介绍

1. 高可用性群集（High Availability Cluster）

常见的是由2个节点组成的HA群集. 有很多流行的不科学的名称，例如“双机热备份”，“双机相互备份”和“双机”.

高可用性集群解决了确保用户应用程序继续向外界提供服务的能力的问题. （请注意，高可用性群集不用于保护业务数据. 受保护的是，用户的业务程序向外部提供不间断的服务，并最大程度地减少了软件/硬件/人为故障对业务的影响. 最少. ）

2. 负载均衡集群

负载平衡系统: 集群中的所有节点都处于活动状态，它们共享系统的工作负载. 通常，Web服务器群集，群集和应用程序服务器群集属于这种类型.

负载平衡群集通常用于响应网络请求的Web服务器和服务器. 这种群集可以在收到请求时检查请求较少且不忙的服务器，并将请求传输到这些服务器. 从检查其他服务器的状态来看，负载平衡和容错群集非常接近，区别在于它们的数量更多.

3. 高性能计算集群

高性能计算（高性能计算）集群，称为HPC集群. 这种类型的群集专用于提供强大的计算能力，而这是单台计算机无法提供的.

3.1高性能计算分类

3.1.1高通量计算

有一类高性能计算，可以将其分为几个可以并行化的子任务，并且每个子任务都不相互关联. 就像在家中搜索外星人（SETI @ HOME-在家中搜索外星智能）就是这种类型的应用程序. 该项目将使用Internet上的空闲计算资源来搜索外星人. SETI项目的服务器将一组数据和数据模式发送到Internet上参与SETI的计算节点. 计算节点使用给定的模式搜索给定的数据，然后将搜索结果发送到服务器. 服务器负责将从每个计算节点返回的数据集成到完整数据中. 因为这种类型的应用程序的一个共同特征是在海量数据上搜索某些模式，所以这种类型的计算称为高通量计算. 所谓的互联网计算属于这一类. 根据Flynn的分类，高吞吐量计算属于SIMD（单指令/多数据）类别.

3.1.2分布式计算

另一种计算类型与高通量计算正好相反. 尽管它们可以分为几个并行的子任务，但这些子任务紧密相连，需要大量的数据交换. 根据Flynn的分类，分布式高性能计算属于MIMD（多指令/多数据）类别.

第四，分布式（集群）与集群之间的联系和区别

分布式是指在不同的地方分布不同的业务；而集群是指将多台服务器放在一起以实现相同的业务.

分发中的每个节点都可以集群. 群集不一定是分布式的.

示例: 例如集群计算软件，新浪网（Sina.com），有很多访问者，他可以建立集群，将响应服务器放在前面，后面的几台服务器完成相同的业务，如果有业务访问权限，响应服务器看起来在哪台服务器上负载不是很重，将完成哪一台服务器.

从狭义上讲，分布式也类似于集群，但是其组织相对松散. 与集群不同，有一个组织. 一台服务器已关闭，其他服务器可置于顶部.

分发中的每个节点完成一项不同的业务. 如果节点发生故障，则该业务将无法访问.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/shumachanpin/article-257327-1.html