高性能计算机集群_计算机集群搭建_diy多台计算机集群

简介

HPCC（高性能计算集群）也称为DAS（数据分析超级计算机），是由LexisNexis风险解决方案开发的开源，数据密集型计算系统平台。HPCC平台整合了在商品计算集群上实现的软件架构，为使用大数据的应用程序提供高性能的数据并行处理。HPCC平台包括支持并行批处理数据处理（Thor）和使用索引数据文件（Roxie）的高性能查询应用程序的系统配置。HPCC平台还包含一个以数据为中心的并行数据处理声明性编程语言ECL。[1]

系统架构

HPCC系统体系结构包括两个不同的集群处理环境，每个集群处理环境都可以独立进行优化，以实现并行数据处理目的。这些平台中的第一个被称为数据精炼厂，其总体目的是用于任何目的的大量的任何类型的原始数据的一般处理，但通常用于数据清理和卫生，提取，转换，原始数据的加载处理，记录链接和实体解析，特设的复杂分析以及创建键控数据和索引以支持高性能结构化查询和数据仓库应用程序。数据精炼厂也被称为Thor，这个大锤象征着把大量的原始数据压缩成有用的信息。Thor集群的功能，执行环境，文件系统和功能与Google和Hadoop MapReduce平台类似。

负载一般是需要应用程序处理，这样的系统适合于运行同一组应用程序的大量用户，比如用于maya渲染的工作组，每个节点都可以处理一部分工作，并且可以在集群节点之间动态分配负载，以实现平衡。mes系统架构的底层是基础层，整个系统的运行维系根基，各种核心组件如soa引擎、ajax引擎以及工作流引擎等被有机集成，协同作业，共同实现系统开发的各种业务应用。coapp平台组件与基础服务提供安全和存储、核心组件和引擎高性能计算机集群，各种技术组件简化应用的构建，同时提供统一的核心模型、应用交互层和业务共享层，能加快企业业务的迭代和发展，为企业的创新发展赢得先机。

第二个并行数据处理平台被称为Roxie，可用作快速数据传输引擎。该平台设计为高性能结构化查询分析平台或数据仓库，通过Web服务接口支持应用程序的并行数据访问处理需求，支持数以千计的同步查询和用户分秒的响应时间。Roxie使用分布式索引文件系统使用优化的执行环境和用于高性能处理的文件系统来提供对查询的并行处理。Roxie集群与Hadoop的功能和功能类似，增加了HBase和Hive功能，并提供近乎实时的可预测查询延迟。Thor和Roxie集群都使用ECL编程语言来实现应用程序，从而提高了连续性和程序员的生产力。

图2显示了一个物理Roxie处理集群的表示，该集群充当高性能查询和数据仓库应用程序的查询执行引擎。Roxie集群包含多个节点，其中包含用于处理查询的服务器和工作进程；一个称为ESP服务器的附加辅助组件，为外部客户端访问群集提供接口；以及在HPCC环境中与Thor群集共享的其他常用组件。虽然Thor处理集群可以在没有Roxie集群的情况下实施和使用，但是包含Roxie集群的HPCC环境还应该包含Thor集群。Thor集群用于构建Roxie集群使用的分布式索引文件，并开发将与索引文件一起部署到Roxie集群的查询。[2]

软件架构

mpp 是对称结构，当执行一个查询时，该查询将被调度到集群中的每一个节点执行，这意味着一个包含 4 个节点的 mpp 集群和一个包含 400 个节点的 mpp 集群所支持的并发查询数量是相同的，也就是说，并发查询数量和集群节点数量无关，一般而言，当并发查询个数达到 20 左右时高性能计算机集群，整个系统的吞吐已经达到满负荷状态。6．安装完上述组件后定好组件位置如图8中实线框和虚线框所示的位置一致，就可以顺时针转动组件1～3到图9、图10实线框所示位置可以缩回镜头，把组件2转动到图9、图10虚线框所示位置就可以关闭镜头盖。将组件2与组件1按图中实线框所示的位置放下去，这时两个组件能在图中虚线框所示位置相互卡住即可，并转动组件2到图3中实线框所示的位置。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-104678-1.html