通用计算平台 滴滴实时计算平台在运营监控方面的应用(4)

该平台提供了如下关键功能和突破：

实时计算任务管理和调度

?? 为多种实时计算引擎(Spark Streaming、Flink Streamin、Samza)提供统一的资源管理及任务调度功能，提供统一的可视化管理界面，自动同步Hadoop YARN状态 ；

?? 成本计价透明化：对接成本中心，计算资源申请、审批流程化、服务化 ；

?? 计算任务监控：计算任务Metrics统一上报，发现任务异常会及时给用户发送报警。

CloudIDE

?? 在业界开创性的将实时计算任务的开发环境从桌面搬到云端，整合了云端的数据资源、计算资源、安全体系，为实时计算量身定制开发环境。通过Kubernetes及Docker为每个用户分配完全隔离的容器作为开发环境，避免了相互影响；

?? 提升用户开发实时计算任务的效率：整合云端数据资源（如链接Kafka、Druid、Hadoop），统一了开发环境，方便用户开发、测试、部署实时计算程序 ；

?? 内置多个代码模板，方便用户快速针对常见应用场景进行开发 ；

?? 支持Java、Scala、Python等开发语言。

实时数据API开放平台：让用户更便捷的获取实时数据

支持对OLAP Cube进行可视化建模 ：

?? 支持原子指标和复合指标的配置 ；

?? 基于SQL配置数据指标API，支持Group by , TopN的查询 ；

?? 拓展SQL语法，提出SQL占位符的概念，实现SQL的动态生成，使得查询有可筛选的能力，提高SQL复用率；

?? 提供API公共网关：对API访问权限、频率进行控制，保证数据安全；

?? API服务化：使实时数据API申请、授权、访问实现流程化、服务化、自动化，提升数据获取的便捷性、安全性。

监控大屏配置

基于图技术，实时、动态分析数据链路，数据上下游一目了然：

另外还有诸如实时数据血缘关系，数据分析notebook，可视化组件等等工具帮助用户更好的分析和使用数据。

总结和思考

随着互联网业务的不断发展，对大数据平台的存储和计算需求这几年也在逐渐的向偏实时化和智能化发展，对平台和架构也提出了新的要求和挑战。平台和业务在改善用户体验和赋能用户的追求是不会有止境的。通用计算平台作为基础平台部门，也需要不断的探索能够更好支撑业务需求的架构和系统，为服务用户，改善用户体验保驾护航。

作者简介

罗李，滴滴出行技术研究员，滴滴基础平台部-大数据架构部门负责人，负责大数据架构团队下的实时，离线，NOSQL，OLAP等各大数据存储计算引擎的开发，测试，升级，上线，以及线上运维，数据开发平台和产品等各团队的技术和团队工作。

前阿里巴巴高级技术专家，阿里云梯创始人之一，云梯负责人，先后在阿里巴巴搜索技术中心，阿里集团研发院，阿里云，淘宝数据团队等多个部门服务。主要负责阿里集团分布式系统，hadoop系统等版本的开发，测试，性能瓶颈分析，性能优化，集群管理，集群维护和监控，应用团队分布式技术支持，公司内部培训和hadoop技术在阿里集团内的推广等工作。是阿里集团分布式团队创建之初的第一批员工。

楼兰股份

楼兰股份创办(2001年)至今，一直为汽车行业提供客户关系管理(CRM)产品和相关数据衍生服务。率先(2007年)基于车联网技术，成功将汽车行业客户关系管理的维度，从车主(CRM)拓展到车辆(TCRM)。经过十年的持续投入和创新突破，楼兰股份在智能网联领域拥有超过500个发明专利，能在以下方向上提供产品和服务。

①车辆信息安全和车载防火墙

②车辆防盗抢和ServiceTracker2.0

③车辆总线适配和车载数据网关

④车辆姿态传感器和ECU设计开发

⑤车辆数据实时采集和分布式计算

⑥车载远/近场实时通讯和低功耗

⑦车辆静/动态数据传输和车联网云平台

⑧车载诊断和远程智能维修估价(RDM)

⑨驾驶行为保险(UBI)和远程事故智能估损(RLM)

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-88211-4.html