并行计算和分布式计算_云计算分布式计算_经典的分布式计算模型

2016年11月18-20日SDCC 2016中国软件开发者大会，阿里巴巴大数据计算平台首席架构师林伟给我们带来了“高可用的大数据计算平台如何持续发布和演进”的演讲。本文主要谈及大数据系统如何做系统迭代，以及系统因为其没有可能搭建对等的测试环境，需要进行测试方面的内容，更有测试需要的必要条件等等。

阿里巴巴大数据计算平台需要每天不间断的跑在上万台机器集群上，上面承担阿里核心分析计算任务，有着很高的可靠性和SLA的要求，但是我们同时需要持续不断提高系统的性能，降低成本，提供更来满足日益增长的业务需求，这样就要求持续不断的升级正在服务的系统。如何能够保证系统迭代中系统的高可用性对于阿里大数据计算平台是个很大的挑战。本次我们主要分享在计算平台中发布迭代中挑战和阿里在MaxCompute系统中的解决方案。

MaxCompute

MaxCompute（大数据计算服务）是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台，支撑每日百万级作业规模。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

整个系统存储几百个EP的数据，每天处理百万级的任务量，具备上万台单集群，具有多集群跨地域的规模。我们内部有8000多个开发数据工程师，在这个平台上进行数据开发，性能上我们做社区的两倍，成本是Amazon的三分之一。

MaxCompute整体架构如图所示，最下层为分布式的存储系统和调度系统来统一的管理所有集群的资源，包括CPU、内存磁盘，在此上有一层执行引擎来支撑不同种的运算方式。我们提供统一的语言让数据工程师能够无缝的在多种计算方式进行整合，我们同时也提供兼容开源接口去对接外面现有的生态。

我们要把MaxCompute打造成一个数据计算的服务，而不是解决方案。所谓服务，首先需要提供统一的数仓，打通不用应用用户中的数据访问， 打破阿里内部各个部门的数据壁垒，使得所有的数据汇集到一点，可以去跨地跨部门访问这些数据，让数据在一起产生一些化学反应，从而把相关的数据关联起来，挖掘出数据背后的价值；再者需要提供一个365（天）x24（小时）的高可靠，高可用的，共享的大数据计算服务，以此来做到细粒度的统一的资源调度，使得各种业务之间能够做到相互资源填补从而做到低成本，高使用效率；最后服务的方式能够让用户从运维、监控中解放出来，把这些工作交给计算系统来完成，从而大大降低使用大数据计算服务的门槛。而相对应的解决方案，则仅仅提供大数据的计算系统的安装包，用户需要自己去找相应的资源拉起，需要自己搭建运维和监控系统，需要自己管理平台升级等等工作。而这些用户定义的集群（或者是虚拟机组成集群）往往是割裂的，并不能将各个用户数据汇聚在一起进行更大范围的计算。

MaxCompute持续改进和发布中的挑战

MaxCompute需要是不间断的服务，所以从高可用的角度，我们希望系统最好没有更新，因为更新就有风险，这样才能更好持续不断的服务客户，能够提供给计算任务的用户四个九甚至十个九的可靠性。但是我们业务是在不停的成长，对于计算平台每天都会有新的需求，需要计算平台跟着发展，同时业务的成长速度远远快于机器采购的系统，这也推动我们的系统一定要持续提高其核心性能，从而能够去匹配业务的成长。因为以上两个理由，逼着计算平台需要持续不断的去变更。经典的分布式计算模型更加困难是计算平台有别于其他服务，其他服务基本上狠心节点是单机的，通过负载平衡等手段把某些流量切到新的机器上进行验证即可，但是计算平台跑的都是分布式的运算，有的任务需要用到是成千上万台机器，并且计算节点的耦合是比较紧密的，所以不能通过传统的负载平衡等手段来验证新版本。再者因为计算平台管理上万台机器，坏的变更产生的破坏是巨大的。所以我们怎么才能做到稳定和变更的平衡呢，如何能够控制变革的风险对于一个计算平台的成功是非常重要的。经典的分布式计算模型

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-30114-1.html