通用计算平台 滴滴实时计算平台在运营监控方面的应用

原标题：滴滴实时计算平台在运营监控方面的应用

编者按

[车联网/实时计算]

滴滴作为全球最大的移动出行平台，其核心技术在于全流程的实时出行撮合服务。这些服务得益于在云端能够实时地处理海量出行数据，根据不同场景下数以亿计的个性化需求，向客户开展实时精准营销，为运营商提供实时运管风控。这些高品质服务都归功于滴滴基于大数据的实时计算云平台。

该平台的实时性主要体现在输出能力(服务响应，天级/小时级/秒级/毫秒级)。采集接收还停留在移动互联网模式，算不上是双向高速，更像是单向(输出快，接收慢)加国道。因为人(互联网/P2P)的交互频率较慢(秒级以上)，而车(物联网/M2M)是毫秒级甚至更快，所以尽管其接收能力(几秒级)已超越传统的车联网，但相较于车联网平台(毫秒级)还有着数量级之差。随着滴滴更深地介入移动出行(含制造)，该平台的实时计算能力一定会双向打通。

楼兰股份的车联网云平台经过十年的优化迭代，称得上是双向打通的实时计算范本，在实时采集、实时分析、数据聚合、计算引擎及算法等方面积累了不少经验。特别是控车均速、诊断和事故估损等对实时计算要求较高的技术方面遥遥领先，得到了客户和行业的广泛认可。

项目背景

这几年随着滴滴业务的不断发展，用户（乘客、司机）在体验的改善上不断提出新的要求。不仅如此，滴滴内部数据和运营团队越来越实时、丰富和精准的营销策略对底层技术支撑平台日益严格和高效的要求，不仅要求数据更加实时（从天级，到小时级，到秒级，甚至毫秒级），要求数据更加准确（不重复，不缺失），还要求基于数据的各类用户画像和用户标签更加丰富。因此对底层技术平台和系统在各方面都提出了更高的要求。

业务挑战

滴滴每天会有上千万的成交单量，每一次发单接单，用户呼叫以及路径规划都对会对后台发出一系列的调用。由于滴滴现在服务于全球几百个城市的用户，不同城市因为各方面的原因需要有针对性的运营策略，在同一个城市的不同地段（比如机场，大型活动，演唱会体育场等）也因为实地情况不同进一步产生不同的业务特点。同时由于滴滴出行本身针对不同的用户提供了多样的服务类型选择（比如快车，优享，专车，，顺风车，代驾，小巴等），不同的产品和服务后台的策略和逻辑也不尽相同。滴滴的司机团队也来自多种合作平台和直营平台，这些情况也进一步加剧了业务的复杂性。如何在每天每时每秒中针对不同城市，不同地段，不同产品，不同司机和不同乘客类型等瞬息万变的复杂业务场景进行高效，精准，多维度组合和细粒度的实时数据监控，并针对各种不同情况进行实时的风险控制和报警提醒，如何满足好滴滴业务团队因为这些需求而对底层技术团队和支撑平台提出的要求，是摆在滴滴大数据实时计算和平台团队面前的一个巨大难题。通用计算平台

技术挑战

对实际线上业务的各种业务变化，比如订单呼叫量、订单应答量、订单成交量、实时应答率、平均接驾距离等，要将这些数据实时地反馈到运营团队业务团队的dashboard上，即使不考虑更多复杂的业务场景的前提下，在如此巨大的数据量下仅仅做到数据足够实时和准确就已经是一个非常巨大的挑战。从一个业务行为的产生，到其产生的log数据，到采集这条log到大数据平台，再到对这条数据进行清洗，分析，聚合统计，再到写入实时查询系统，最后呈现到业务团队的监控大盘，这其实是一条很长且非常复杂的数据链路，中间涉及到业务日志标准规范，实时数据采集和清洗，实时计算，实时聚合等多个底层支撑系统和平台，多个环节的打通和衔接，以及技术团队自上而下的对业务特征的了解和实现。不仅如此，由于业务和策略千变万化，经常要针对各种特殊情况和政策进行调整和适配，这就对底层技术实现在可扩展性和灵活的适配能力上提出了更高的要求。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-88211-1.html