分布式开发平台及其计算方法

分布式开发平台及其计算方法

【技术领域】

[0001]本发明实施例涉及计算机领域，尤其涉及分布式开发平台及其计算方法.

【背景技术】

[0002]分布式计算平台是处理大数据必不可少的工具. 当前，存在分布式平台. 一种可以实现数据的自动分配和数据传输的容错性，程序设计简单，但是程序的运行效率低；另一种类型要求开发人员定制分发数据和数据传输的容错策略，编程复杂且使用并行计算来使程序更有效地运行.

[0003]因此，需要一种合适的解决方案，该解决方案可以实现自动数据分发和数据传输容错，简化编程复杂性并实现有效的并行操作.

[发明内容]

[0004]本发明实施例提供了一种分布式开发平台及其计算方法，可以实现数据的自动分配，数据传输的容错等，简化编程复杂度，实现高效的并行计算.

[0005]在第一方面，提供了一种分布式开发平台. 分布式开发平台包括: 计算机集群分布式 计算，部署在计算机集群上的分布式文件系统DFS以及部署在计算机集群中的每台计算机. 由计算机上的消息传递接口MPI形成的MPI群集，其中DFS用于为计算机群集中的每台计算机提供共享存储空间，并且该共享存储空间存储运行程序Operation数据所需的MPI群集； MPI群集用于将提交给MPI群集的程序划分为多个MPI任务，并分发到MPI群集中的每个MPI，根据MPI，MPI群集中每个MPI所在的计算机随后将收到MPI任务将它们分配的任务和提交给MPI群集的程序进行计算，计算DFS中存储的操作数据，并将操作结果存储在DFS中，以便计算机群集中的每台计算机都可以在操作后访问结果

[0006]结合第一方面，在第一种可能的实现方式中，具体实现为: DFS还用于将计算机集群中的计算机作为DFS的主节点，其他计算机作为DFS的从节点； MPI群集还用于将计算机群集中的一台计算机用作MPI群集的主节点，将其他计算机用作MPI群集的从节点.

[0007]结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，具体实现如下: DFS的主节点和MPI集群的主节点相同电脑;或者，DFS的主节点和MPI群集的主节点是不同的计算机.

[p] [0008]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第H种可能的实现方式中，具体的实现为: 网络文件系统WS或Huadoop分布式系统FS.

[0009]在第四种可能的实现方式中，将第一方面或第一方面的第一种可能的实现方式与第一方面的第H种可能的实现方式相结合. MPI集群是由MPICH构建的.

[0010]在第二方面，提供了一种用于分布式开发平台的计算方法. 分布式计算平台包括计算机集群，部署在计算机集群上的分布式文件系统DFS以及由计算机集群部署的计算机集群. 由每台计算机上的消息传递接口MPI形成的MPI集群，DFS存储该MPI集群运行程序时所需的操作数据，计算方法包括: MPI集群将提交给MPI集群的程序划分为多个MPI任务，并分配给MPI集群中的每个MPI； MPI群集中每个MPI所在的计算机都是基于所分发的MPI任务以及由提交给MPI群集的程序在DFS中存储的运行数据. 操作；计算机集群中的每台计算机将操作结果存储在DFS中，以便计算机集群中的每台计算机都可以访问操作结果.

[0011]结合第二方面，在第一种可能的实现方式中，具体实现为: DFS还用于将计算机集群中的一台计算机用作DFS的主节点分布式 计算，将其他计算机用作DFS的从节点； MPI群集还用于将计算机群集中的一台计算机用作MPI群集的主节点，将其他计算机用作MPI群集的从节点.

[0012]结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，具体实现为: DFS的主节点和MPI集群的主节点为同一台计算机或者，DFS的主节点和MPI群集的主节点是不同的计算机.

[p] [0013]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第H种可能的实现方式中，具体实现为: 网络文件系统WS或Huadoop分布式系统FS.

[0014]在第四种可能的实现方式中，将第二方面的任何可能的实现方式或第二方面的第一种可能的实现方式与第二方面的H种可能的实现方式相结合. MPI集群是由MPICH构建的.

[0015]基于上述技术方案，本发明实施例的分布式开发平台和计算方法采用分布式文件系统，实现了数据的自动分发，数据传输的容错等，简化了编程复杂度方法利用MPI环境实现并行计算和高效并行计算的逻辑.

[图纸说明]

[0016]为了更清楚地说明本发明实施例的技术方案，以下将简要介绍实施例中使用的附图或现有技术的描述. 显然，在以下描述中的附图仅是本发明的一些实施例. 对于本领域普通技术人员而言，无需付出任何创造性劳动，也可以根据附图获得其他附图.

[0017]图. 图1是根据本发明实施例的分布式开发平台的系统框图.

[0018]图. 图2是根据本发明实施例的分布式开发平台的计算方法的流程图.

[0019]图. 图3是根据本发明实施例的网络部署结构的.

[0020]图. 图4是根据本发明实施例的分布式开发平台的结构.

[具体实现]

[0021]将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚，完整地描述. 显然，所描述的实施例是本发明实施例的一部分，而不是全部的实施例. 例子. 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围.

[0022]图. 图1是根据本发明实施例的分布式开发平台的系统框图. 其中，多台计算机组成一个计算机集群，每台计算机都具有一台计算机，该计算机上装有本地文件系统和一个计算系统. 如图1所示，分布式文件系统值istributedFileSystem，DF巧妙地部署在计算机集群上，以提供一种逻辑机制，使计算机集群中的所有计算机可以同时访问（读/写）数据存储. 同时，消息传递接口（MPI）也部署在计算机群集上，以为计算机群集中的所有计算机提供并行计算机系统. 计算机集群中的计算机可以通过DFS访问全局数据（读/写），通过本地文件系统访问本地数据（读/写）到本地硬盘，并通过MPI集群控制MPI进程，这是通过以下方式实现的: MPI通信并行程序的逻辑控制和同步.

[0023]图. 图2是根据本发明实施例的分布式平台的计算方法的流程图. 图2的方法由分布式平台执行. 其中，分布式计算平台包括计算机集群，部署在计算机集群上的分布式文件系统DFS和由部署在计算机集群中每台计算机上的消息传递接口MPI组成的MPI集群. DFS存储MPI群集运行程序所需的操作数据. 计算方法包括:

[0024] 20LMPI群集将提交到MPI群集的程序划分为多个MPI任务，并通过MPI群集中的每个MPI将其分发到MPI所在的计算机.

[0025] 202，MPI群集中每个MPI所处的计算机根据提交给MPI群集的程序根据它们所分配的MPI任务和DFS中存储的操作数据来执行计算.

[0026] 203，MPI群集中每个MPI所在的计算机将操作结果存储在DFS中，以便计算机群集中的每个计算机都可以访问该操作结果.

[0027]在本发明的实施例中，通过

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-181378-1.html