Double 11的第一，中，第二阶段的大数据计算平台得到了充分的展现

双重11项准备

Double 11的成功与背后的大数据分析密不可分. 阿里云大数据平台在Double 11中提供海量数据分析服务，各个部门将对计算平台上的相关数据进行深入分析，以确保Double 11的成功: 通过预测物流包裹，它帮助快递公司部署仓库，因此他们可以在Double 11当天分发6.5亿个包裹，以确保马匹和马匹不动且谷物优先. 相应地调整风险承受能力；帮助商家进行准确的营销，预测访问者群体并设计个性化的商店首页；为消费者提供智能的购物指南，并分析其原始购买记录，以进行精确的营销并改善购物体验；在双11比赛之前，对语音模型进行了大量培训，以创建更好的语音平台. 双11日当天，语音机器人接听了97％的客户服务电话；此外，为了确保Double 11s的执行，对交易安全性进行了控制，对个性化推荐，业务数据服务和反欺诈营销活动进行了培训和改进.

从计算平台的角度来看，您可以使用计算任务来量化这些准备工作: MaxCompute平台承担Ali的大部分内部计算任务，每天的任务量为一百万个级别. 从上图可以看出，自9月中旬以来，每日工作数量略有增加，增幅约为20％，这也表明双11的准备工作早在两个月前就开始了. 该计算平台每天都在为Double 11做准备.

治理数据: 事半功倍

早在阿里巴巴平台业务的初期，快速增长和广泛的管理就带来了大量存储和计算资源的浪费，并且存在许多无效的计算任务和重复存储，例如新招募的第二个早上提交它执行了六项计算任务，运行失败，并且花费了18W；对于另一个重要的应用程序，它花了半天的时间整理自己的数据服务，从而将每日成本从5W降低到5,000.

由于计算资源的增长落后于我们的业务增长，并且我们需要降低成本以能够更有效地为我们的业务提供服务，因此数据治理尤其必要.

目前，阿里已经创建了一个闭环，用于监测数据质量，记录所有数据访问和运行状态，然后通过计算平台的计算能力并行分析数据背后的相关性；通过处理监视系统和源表清理，在计算任务中挖掘数据和冗余数据来分析监视效果. 当某些数据或任务需要改进时，以后如何处理？

阿里目前使用卫生子治理系统. 在评估计算任务是否健康时，它主要从两个指标开始: 存储健康和计算健康: 存储健康包括非托管表，废弃表，较长的保留期以及包括导入在内的8种模型； 17个模型，包括计算暴力，未使用产品，数据偏斜，重复计算等.

经过一定的组合后，两者会生成健康点，并同时根据消耗的资源生成电子账单，然后将其发送给业务方以明确其消费成本；此外，还设计了一种利益机制和运营平台来优化管理资源.

双11天

上图是双11大屏幕的实时渲染，可以实时显示双11的实时交易金额. 大屏幕背后的支持系统是StreamCompute（增量计算），它是用于实时数据统计和监控Ali的武器. 双11日当天，系统使从交易发生到媒体大屏幕统计的整个过程仅需3秒钟；同时每秒可处理1亿笔交易记录； StreamCompute的整体性能是去年的5倍，并且在整体运行和维护期间，发生了0次故障.

在没有增量计算之前，整个Double 11的营业额统计信息和数据审查都处于模糊状态. Double 11当天发生的所有交易都记录在后端. Double 11完成后，执行批处理分析以最终生成报告. 也就是说，在生成报告之前，尚不清楚年度Double 11的具体状态. 该解决方案无法提供实时交易量，并且结果非常缓慢.

为了解决这个问题，阿里开发了一个增量计算模型. 通过增量计算，可以实现及时反馈，提升购物节氛围，使消费者有更好的互动感；同时，它可以使Double 11的每个参与者及时调整策略，以达到更好的促销效果. 那么如何完成从批处理到增量计算的转换呢？

如上图所示，批处理首先需要累积数据. 数据累积完成后，将提交计算任务，并在Reduce之后生成最终结果. 整个过程的延迟实际上是Job的运行时间.

但是我们希望在双11号的24点看到最终结果，所以延迟要求非常高. 为了满足此要求，引入了增量计算. 增量计算直到数据积累完成才开始执行任务，而是在数据积累过程中开始计算. 在数据开始时已经安排了Map，Shuffle，Reduce和其他阶段，并且在整个过程中不断接收和计算数据；因此，当最终记录完成时，也将产生最终结果. 这种增量计算方法的优点是:

统计一致性问题是增量计算中必须解决的问题. 所谓的统计一致性是指在任何时候，双11个卖方的总数始终等于每个文件中的卖方数目. 如上图所示，当A类的销量增加到11个时，红色模块增加1，蓝色模块减少1；当A类的销售额增加15时，绿色模块增加1，红色模块减少1.

统计一致性带来的最大好处是可以相对比较，并且可以准确地获得每个等级中卖方的比例. 在流计算和增量计算中，很难实现统计一致性. 让我们详细解释阿里如何保证统计一致性.

在特定的double 11情况下计算平台，初始化参数为: （1）当前ID为A的卖方初始化0元； （2）0-9档案中有6个卖家； （3）当前10-19个文件中的10个卖方； （4）文件20-29中当前有8个卖家. 在第一阶段，A有一个五元业务，对应于流源中的（A，5），并使用State（快照）记录营业额，即流t1中A的营业额变为5，且为0在流t2中，-9齿轮的数量变为7. 在第二阶段，当A的6元业务再次发生时，营业额统计总和变为11，0-9档位的数量减少1，而10-档的数量减少. 19个档位增加1个；当时，营业额统计的总和为26，而10-19个摊位的数量减少了1个，而20-29个摊位的数量增加了1个. 在整个事务量更改期间，无需读取和写入操作即可更新输出.

增量计算挑战中最大的挑战是任何时候的中间结果都是100％正确的，并且可以保证每个统计数据的一致性；在系统实施方面，要求所有操作员都是可逆的（在分布式环境中，需要处理跨分区的结果调整）. 为了保证可逆性，要求状态记住原始的中间结果，该中间结果可以快速定位需要调整的值并执行正向和反向操作；此外，增量还具有流量计算的其他一般问题，例如流量控制和数据. 倾斜，容错，延迟等.

在增量计算中，它还提供了良好的SQL开发接口，以方便业务方的开发；同时，它还提供了全面的数据调试方法和丰富的操作与维护. 当前的应用场景主要包括:

为了确保双十一期间的零故障，阿里还提前做好了很多准备工作: 第一，采用主备双链路容灾，实现二级交换. 同时，进行完整的链接监视，数据收集，读取，监视处理和仓储的，实时分析和显示QPS，流量，CPU /内存/磁盘/网络资源消耗以及对潜在资源的全面探索问题;此外，它还为Double 11配备了完整的运维分析工具，可以分析和查找热点机器，快速定位和诊断任务异常，并执行一键式任务重新平衡，启动和停止运维操作.

Double 11之后的海量数据分析

Double 11已生成大量数据，那么如何分析Double 11之后的数据以确保可以按时和质量输出各种语句？这取决于后端计算平台MaxCompute.

MaxCompute承担着阿里巴巴集团的所有离线计算任务，并且是该集团内的核心大数据平台. 到目前为止，它支持数百万的日常操作. 整个系统有成千上万的机器，而单个集群有成千上万的规模. 存储已达到EB级别. 每天有数千名活跃的工程师在平台上进行数据处理.

MaxCompute当前取得了两项重大成就: 首先是处理今年Double 11记录中的180PB数据；第二种是在377秒内对100TB数据进行排序.

在MaxCompute中，大量任务是周期性的，每天类似的查询将为优化器带来巨大的机会. 因此计算平台，可以基于历史记录，对每天提交的查询进行聚类以及使用先前的操作数据作为提示来执行特定的优化，以帮助将来进行类似的查询. 首先对新查询进行相似性判断. 如果是类似的查询，则会执行提示注入以帮助优化. 当数据变化不大时，等同于查询预热.

Double 11当天的数据爆炸导致HBO的有效性下降. 为了解决这个问题，在Double 11到来之前，已使用多种模型来准确预测每个数据的大小. 同时，使用HBO可以添加数据来运行提示功能，以根据合理的配置在同一天帮助Double 11的任务调用资源，从而保护每个业务线的输出及时报告.

MaxCompute: 全局调度

MaxCompute已达到物理群集的上限，单个群集已达到数万个级别，因此必须跨区域构建数据处理平台，并且在区域之间使用昂贵的总线和专用网络连接. 生成双11大量数据以实现带宽与延迟之间的平衡时，如何充分利用跨区域带宽？

首先，我们设计了一个全局调度方案，使用户不必关心数据分发的特定位置，系统可以帮助他们访问. 如上面的模式示例所示，当A提交数据更新操作时，最新数据存储在距离它最近的集群中；当B访问数据时，系统将自动识别出距离较远的群集中的数据是最新数据，然后使用有限的带宽进行数据复制以保持数据的一致性. 在此过程中有很多选择，您可以使用多种模式，例如远程读取，复制；同时，您需要充分考虑带宽和任务完成的及时性；您需要执行全局分析并预先动态调整.

-END-

云栖社区

ID: yunqiinsight

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-273259-1.html