滴滴大数据离线和实时平台架构和实践

使用storm 负责搭建消息处理架构,并完成基于业务的消息落地,提供后续的数据 统计分析实时和离线任务,诸如pv、uv等数据,为运营做决策。对一些大数据计算和实时性要求不是很高的数据将其流向阿里云，借助阿里云超强的计算能力和超大的集群规模进行计算处理，同时这些数据会在t+。用户不再需要学习各种计算引擎的编程接口、不再需要调试分布式计算程序、不再需要自己维护流计算系统，只需要把原来跑在离线平台上的sql迁移到实时流计算平台上，就可以完成复杂的实时计算逻辑。

6。1/ 2。1。1/2。2。0 • Flink 1。2。0/1。3。2 • Druid 0。10。1 SACC2017 典型流式系统集成架构 与流系统集成的通用架构 • 数据上游：kafka • 流计算：数据清洗、改造 • Druid实时写入 • 查询SACC2017 Mysql Slave Canal Kafka Topic Druid Datasource 文本日志 Swan 业务层 实时ODS层 实时DWB层 API拉取 Python Spark Streaming/Flink/Samza Job 实时计算引擎层 Parquet/ORC/Carbon HDFS Spark SQL/机器学习 原始明细实时存储 实时数据API 实时DWS层 Consumer：如实时监控、报警服务、DashBoard，监控大屏实时计算服务平台，用户A、用户B… 实时监控数据流 SACC2017 BI实时监控 • 1100+个实时数据指标• 基于每个指标的阈值，变化率，同环 比，模型实时报警• 覆盖专车，快车，顺风车，优享，出租 车，代驾，公交，支付，小巴等业务最 重要的指标• 以前是基于需求驱动，实时团队开发• 现在已逐步转变成实时团队提供平台和 工具，用户DIY开发 SACC2017 基于Spark Streaming的ETA 1。

订单流和坐标流的实时join 2。进一步提取特征 SACC2017 基于Flink Streaming的乘客位置语义推送 1。订单流和乘客流实时join 2。乘客位置变化推送给司机(是否出发，是否达到)，准确率94% 3。减少司乘不必要的沟通，提升接驾效率SACC2017 SACC2017 实时计算平台 线上数据 kafka 数据ETL （SparkStreaming/Flink） HDFS/HiveDruid DataSource1 DataSource2 DataSourceN … 1，采集工单 实时消费 2，流作业编码 3，计算作业提交 4，任务管理 Sink 实时ETL 实时ingest 5，实时指标构建 API1 API2 DashBoard 6实时计算服务平台，DashBoard配置 报警 报警 7，报警配置 SACC2017 实时计算平台 采集工单 SACC2017 实时计算平台 内置数据ETL作业 SACC2017 实时计算平台 webIDE自定义 ETL逻辑 SACC2017 实时计算平台 作业管理 指标构建 SACC2017 实时计算平台 DashBoard配置 SACC2017 实时计算平台 实时报警 1。

自助报务2。支持模型报警和阈值报警 SACC2017 实时计算平台 SACC2017 SACC2017 离线计算平台 HDFS XG NM XG:NS1 XG:NS2 NM:S1 NM:NS2 YARN MapReduce Hive Spark 调度系统 开发平台 D++ 数据仓库（专快出顺，通用报表，代价数仓，安全数仓，地图数仓） • 应需namespace切分 • 跨机房作业调度 • nodemanager透明升级 • 自主Hadoop用户密码机制 • 基于Druid的Timeline Server • Hive权限体系重构 • Livy Spark Session Service • Hive/Phoenix/Druid/ES数据互通 • 基于健康分的数据体系治理 • …… SACC2017 数据开发平台 查询库，表元数据信息和分区信息 查询表字段和schema 查询函数，自定义UDF，共享UDF 查询变量，自定义变量 编辑SQL，编辑脚本，执行 获取查询结果数据 部署到调度系统 查看权限，授权，申请权限 查看队列运行情况 查看，申请存储计算quota情况SACC2017 任务调度平台 创建调度任务，自定义调度策略 自动统计周期调度任务执行时长等趋势图 拖拽实现任务依赖关系图和执行顺序 对任务进行授权，启停 查看任务运行日志，排查任务问题 进行任务报警条件设置 自定义值班表和值班人SACC2017 流程管理平台 个人，生产账号申请 存储容量，白名单 计算队列申请，扩容，管理 Hive表权限申请，授权，生命周期 调度系统配置 数据备份工单 文件合并压缩工单SACC2017 SACC2017 DiDi @ HBaseCon 2017 https://www。

slideshare。net/HBaseCon/apache-hbase-at- didi?qid=5956b5f9-1832-4ef2-93a8- 3d663e0060b9&v=&b=&from_search=11 SACC2017 Hbase架构体系 Phoenix Spark Streaming Hive Hadoop HBase Flink Spark Restful jdbc • 交易订单 • 司乘轨迹 • 北极星 • 把脉Trace • 实时数仓 • Omega • 顶行导栏 • 数据服务化 • 审计数据 • 特征库 • 后市场 • 安全谷雨 • ……ClusterA ClusterB ClusterC SACC2017HBase弹性调度/资源隔离 HMaster Regionserver1 Regionserver2 Regionserver3 Regionserver4 RS Group 1 RS Group 2 Table1 Table3 Table2 SACC2017 HBase弹性调度/资源隔离 1、业界领先，将HBase2。

针对这一应用的需求，正睿推出基于san的异地容灾产品，希望能够为用户提供整套以san网络环境和异地实时备份为基础的、高效、可靠的异地容灾解决方案。数据存储采取异地容灾方式，首先数据存储在本地机房、实时同步到中心机房、最后实时上传至分布式集群存储，保证至少5份存储，确保数据可靠性。异地容灾：rds for mysql支持创建异地灾备实例，通过数据传输实现异地数据实时同步，在突发状况下，用户可将异地灾备实例切换为主实例，保障业务可用性。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-113070-1.html