如何设计实时数据平台（设计篇）

对于Data Democratization的解读，还可以参见以下链接：

[url=https://www.wang1314.com/doc/topic-8069138-1.html]omg (93)[/url] [url=https://www.wang1314.com/doc/topic-8069125-1.html]omg (6)[/url] [url=https://www.wang1314.com/doc/topic-8069111-1.html]欧米茄1 (328)[/url] [url=https://www.wang1314.com/doc/topic-8069083-1.html]欧米茄omg (57)[/url]。[url=https://www.wang1314.com/doc/topic-8428687-1.html]浪琴1 (409)[/url] [url=https://www.wang1314.com/doc/topic-8428679-1.html]浪琴 (94)[/url] [url=https://www.wang1314.com/doc/topic-8428670-1.html]浪琴1 (254)[/url] [url=https://www.wang1314.com/doc/topic-8428662-1.html]浪琴1 (397)[/url]。[url=https://www.wang1314.com/doc/topic-8428636-1.html]浪琴1 (450)[/url] [url=https://www.wang1314.com/doc/topic-8428630-1.html]浪琴 (17)[/url] [url=https://www.wang1314.com/doc/topic-8428625-1.html]浪琴 (48)[/url] [url=https://www.wang1314.com/doc/topic-8428614-1.html]浪琴 (18)[/url]。

文中提到技术层面如何支持数据平民化，并给出了几个例子：Data virtualization software，Data federation software，Cloud storage，Self-service BI applications等。其中数据虚拟化和数据联邦本质上是类似技术方案，并且提到了自助BI这个概念。

技术人员应该多了解业务，还是业务人员应该多了解技术？这一直是企业内争论不休的问题。而我们相信现代BI是一个可以深度协作的过程，技术人员和业务人员可以在同一个平台上，发挥各自所长，分工协作完成日常BI活动。这就对平台的多租户能力和分工协作能力提出了较高要求，一个好的现代数据平台是可以支持更好的数据协作化能力的。

我们希望可以设计出一个现代实时数据平台，满足以上提到的实时化、虚拟化、平民化、协作化等能力，成为现代数仓的一个非常重要且必不可少的组成部分。

典型的数据处理，可分为OLTP, OLAP, Streaming, Adhoc, Machine Learning等。这里给出OLTP和OLAP的定义和对比：

（图5选自文章“Relational Databases are not Designed for Mixed Workloads”-Matt Allen）

带开关角度传感器（电位器）的开关引出端与角度传感器（电位器）引出端和其外部导体之间的交流电压(频率为40～60hz)施加1min,不应发生损伤、火花、绝缘破坏。可以看见, 批量操作比单个操作要复杂一些, 因为批量操作中常常同时存在添加和更新. 举个例子: 中第一天存了一些用户好友, 第二天可能这些好友有些改了昵称/头像/个性签名然后用户自己在网页端又新添加了一些好友, 此时我们直接调用接口拉取下来的第一页几十条数据中就肯定有部分是修改, 有部分是添加的, 如果让使用者自己查询然后区分哪部分是添加, 哪部分是修改, 无疑增加了使用复杂度, 所以这些东西我也选择由工具自己来做而不是抛给使用者. 这也是为什么从一开始, 数据更新和数据存储就是走的一个接口的原因, 因为批量操作遇到这种情况简直不要太多.。应用推广时，可结合选定的应用示范领域，基于综合科技信息数据管理工具，按照知识组织体系实例库建设的数据规范及质量要求，对收集到的科技文献、科研机构、科研人员、基金项目、科学数据等多类型综合科技信息资源的规范性及数据质量进行质量检查，基于科研本体描述框架和语义模型，完成各类信息资源的批量加载和人工审核，完成科研本体实例库的构建和知识资源的深度关联，并通过领域科研信息环境支撑技术平台，进行应用示范系统的快速构建与发布。

我们将OLTP到OLAP的流转过程叫Data Pipeline（数据处理管道），它是指数据的生产端到消费端之间的所有流转和处理环节，包括了数据抽取、数据同步、流上处理、数据存储、数据查询等。这里可能会发生很复杂的数据处理转换（如重复语义多源异构数据源到统一Star Schema的转换，明细表到汇总表的转换，多实体表联合成宽表等）。如何支持实时性很高的Pipeline处理能力，就成了一个有挑战性的话题，我们将这个话题描述为“管道处理”(OLPP, Online Pipeline Processing)问题。

因此，本文所讨论的实时数据平台，希望可以从数据处理角度解决OLPP问题，成为OLTP到OLAP实时流转缺失的课题的解决方案。下面，我们会探讨从架构层面，如何设计这样一个实时数据平台。

与传统端游版手游不同，《征途2动作版》的手机端与pc端并不是独立开来的，而是双端的数据是实时互通的，也就是玩家在手机端玩与在pc端玩的是同一个游戏，角色数据实时沟通，无论是手机端还是pc端，都可同步做任务、升级、聊天、pk。研究内容：研究面向智能制造中企业研发设计、生产制造、经营管理、销售服务、供应商管理和客户服务等多种流程的企业内外部系统基础数据获取及加密传输和存储技术、面向关键制造流程的知识建模技术、制造流程大数据实时分析技术、深度网络挖掘和决策技术、实时工业系统闭环控制技术、企业流程并行技术等基于云模式和大数据的新型软件应用关键技术，研制面向智能制造的流程管控软件平台，并进行示范应用。今天带来《滴滴大数据离线及实时平台架构和实践》的主题分享，主要介绍了滴滴的大数据平台，包括3大平台架构体系，分别是实时平台架构体系、离线平台架构体系、hbase平台架构体系等大数据基础设施和基础平台的技术积累和应用实践。

概念模块架构，是实时数据处理Pipeline的概念层的分层架构和能力梳理，本身是具备通用性和可参考性的，更像是需求模块。图6给出了RTDP的整体概念模块架构，具体每个模块含义都可自解释，这里不再详述。

图6 RTDP整体概念模块架构

下面我们会根据上图做进一步设计讨论，给出从技术层面的高阶设计思路。

图7 整体设计思想

由图7可以看出，我们针对概念模块架构的四个层面进行了统一化抽象：

同时，也对存储层保持了开放的原则，意味着用户可以选择不同的存储层以满足具体项目的需要，而又不破坏整体架构设计，用户甚至可以在Pipeline中同时选择多个异构存储提供支持。下面分别对四个抽象层进行解读。

统一数据采集平台，既可以支持不同数据源的全量抽取，也可以支持增强抽取。其中对于业务的增量抽取会选择读取日志，以减少对业务库的读取压力。平台还可以对抽取的数据进行统一处理，然后以统一格式发布到数据总线上。这里我们选择一种自定义的标准化统一消息格式UMS（Unified Message Schema）做为统一数据采集平台和统一流式处理平台之间的数据层面协议。

UMS自带Namespace信息和Schema信息，这是一种自定位自解释消息协议格式，这样做的好处是：

平台也支持多租户体系，和配置化简单处理清洗能力。

统一流式处理平台，会消费来自数据总线上的消息，可以支持UMS协议消息，也可以支持普通JSON格式消息。同时，平台还支持以下能力：

统一计算服务平台，是一种数据虚拟化／数据联邦的实现。平台对内支持多异构数据源的下推计算和拉取混算，也支持对外的统一服务接口（JDBC／REST）和统一查询语言（SQL）。由于平台可以统一收口服务，因此可以基于平台打造统一元数据管理／数据质量管理／数据安全审计／数据安全策略等模块。平台也支持多租户体系。

构建产业新体系 加快建设制造强国,实施《中国制造2025》 引导制造业朝着分工细化、协作紧密方向发展,促进信息技术向市场、设计、生产等环节渗透,推动生产方式向柔性、智能、精细转变 产业是强国之基、兴国。并按照“分 工与协作相统一”的原则，明确各级的职责和分工，认真组织、紧密 配合、加强协作，保证人员、经费和责任的落实，做到安全、秩序、 质量、效益“四统一” 。山东公司创新引入先进技术，采取深入数据溯源分析、理顺数据管理机制，提升数据质量和强化数据应用，加强与运营监测中心数据治理工作沟通等系列措施，从五个方面入手推进数据治理工作：一是梳理并完善公司数据资源库，形成公司数据资产台帐，梳理完成ias（信息综合查询分析）系统273个指标类数据、涉及10余个业务部门相关的285类场景数据，为企业级数据资源的共享利用奠定良好基础。

以上是基于整体模块架构之上，进行了统一抽象设计，并开放存储选项以提高灵活性和需求适配性。这样的RTDP平台设计，体现了现代数仓的实时化／虚拟化／平民化／协作化等能力，并且覆盖了端到端的OLPP数据流转链路。

下面我们会基于RTDP的整体架构设计，分别从不同维度讨论这个设计需要面对的问题考量和解决思路。

功能考量主要讨论这样一个问题：实时Pipeline能否处理所有ETL复杂逻辑？

⒉ 开孔所需厚度⑴ 圆筒计算厚度 按式(5-1)确定⑵ 接管有效厚度：⑶ 开孔所需补强面积a 按式(8-1)确定a⒊ 有效补强范围⑴ 有效宽度b 按式(8-7)确定⑵ 有效高度① ⑴ 有效宽度 有效补强宽度b按式(8-7)确定接管1 取大值故b*=316接管2 取大值故b*=414注：暂不考虑两相邻开孔有效补强范围的重叠对有效补强面积的影响。

另外，流式处理面向的是增量数据，如果数据源来自关系型，那么增量数据往往指的是增量变更数据（增删改，revision）；相对的批量处理面向的则是快照数据（snapshot）。因此展现形式是数据的另一个维度（变更维度）。

单条数据的变更维度，是可以投射收敛成单条快照的，因此变更维度可以收敛成范围维度。所以流式处理和批量处理的本质区别在于，面对的数据范围维度的不同，流式处理单位为“有限范围”，批量处理单位为“全表范围”。“全表范围”数据是可以支持各种SQL算子的，而“有限范围”数据只能支持部分SQL算子，具体支持情况如下：

? left join：支持。“限制范围”可以left join外部lookup表（通过下推，类似hashjoin效果）

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-113069-1.html