什么是大数据“实时流计算”？深入分析其4个主要应用和4个特征

01大数据时代的新挑战: 实时流计算

社会需求和技术进步正在相互促进和提升. 罗杰·穆加拉斯（Roger Mougalas）于2005年首次提出“大数据”一词，因此，我们假设2005年是大数据时代的头一年.

大数据技术的出现是因为社会发展的水平已开始要求我们具有处理大量数据的能力. 之后，大数据技术的逐步发展和完善反过来进一步促进了社会产生更多，更丰富的数据.

随着大数据技术的普及，IBM为我们总结了大数据的五个特征（也称为5V特征），即体积（大），速度（快速），多样性（多样性），准确性（真实）. 和Value，如图1-1所示.

▲图1-1大数据的五个特征

大数据时代为人们带来了多种生活方式，使人们能够充分享受从大数据中挖掘的价值. 但这也是因为大数据产生的太多和太快，所以我们厌倦了及时对正在发生的事情做出反应.

是的，面对无尽的数据，我们迫切需要一种方法来帮助我们捕捉和思考那些短暂的时刻. 在这种情况下，出现了实时流计算技术.

尽管电影《超人》中的无法直接掌握和分析电磁波信息，但至少实时流计算技术可以帮助我们掌握数据流的瞬间，分析和挖掘数据的实时价值

不要低估数据的实时价值. 据说在很久以前的欧洲战场上，第一个知道战争结果的人不是后方的政府机构，而是证券交易所的股票投资者.

俗话说，时间就是金钱什么是流计算，效率就是生命. 所有实时流计算的目的是获得数据的实时值. 如果数据没有实时值，那么实时流计算就失去了意义.

02实时流计算使用方案

有一句著名的谚语: “武术世界是立于不败之地，但快不败！”这表明“快速”的重要性. 更快，更完整地获取数据，更快，更充分地挖掘数据的价值，已成为大数据时代各行各业的共识.

系统监视，移动数据和物联网，财务风险控制，推荐系统等，尽管行业有所不同，但它们在通用实时流计算技术中起着越来越重要的作用. 这些字段.

1. 系统监控

蓬勃发展的互联网行业背后，是各公司计算机房中成千上万台服务器. 在7×24小时的运行中，服务器会生成大量监视数据（传奇的007工作系统）.

这些数据包括服务器本身的健康状态，例如硬件状态什么是流计算，资源使用情况和负载压力. 第一次了解服务器的健康状况非常重要，这样可以避免由于服务器停机而导致的雪崩效应.

除了服务器本身之外，复杂的业务系统还会生成更多数据. 如今，每天访问量达数亿的系统已司空见惯，并且产品不断涌现. 业务系统生成的日志的大小从GB变为TB，然后从TB变为PB.

通过将日志导入到实时流计算系统中，我们可以实现一系列具有实时价值的功能.

通过实时流计算技术，实时显示业务系统的运行状况，提前避免可能的业务故障，优化为业务使用服务器的成本，并首先发现新的业务模型和商机...所有这些都是实时流计算技术系统监控领域中价值的体现.

2. 移动数据和物联网

移动终端，智能交通，共享自行车，5G，工业4.0 ...在我们生活的时代，新术语的浪潮不断涌现. “移动”和“物联网”使数据随时随地可用. 随着越来越多的数据，单位数据本身的价值越来越小. 实时处理海量数据洪流已成为移动和物联网领域的头等大事.

例如，对于智能交通系统，传统的智能交通系统使用离线方法来分析交通数据，并且无法及时做出交通决策；通过对交通数据流的实时分析，可以显示实时交通热点路段并优化信号灯的时机，引导行驶路线实际上可以减少当前炎热路段的压力并减少平均行驶时间，如图所示在图1-2中.

▲图1-2基于Spark Streaming的Uber交通热点分析与可视化系统

像智能交通一样，优化生活环境是实时流计算技术在移动数据和物联网领域体现的价值之一.

3. 财务风险控制

财务风险控制是实时流计算技术的另一个常见领域，如图1-3所示. 一般而言，贷款的风险控制可以分为贷款前，贷款内和贷款后. 在贷款期间和之后，离线数据分析和数据可视化技术通常用于实现风险控制.

▲图1-3基于Flink的实时欺诈检测平台

但是在借出之前（尤其是在许多贷款产品中），为了向用户提供更好的产品体验，有必要在短时间内决定用户的信用，还款能力和还款意愿. 评估. 除了分析用户自己的信用风险外，还必须防止财务欺诈，例如“羊毛”和长期借款.

通过实时流计算技术，它可以在几秒钟甚至几秒钟的时间内确定用户的信用和欺诈风险，同时确保可控制的风险，提供良好的用户体验并进一步提高贷款产品的整体竞争力.

4. 实时推荐

实时推荐是实时流计算技术的另一种常见应用场景. 如今，手机已成为几乎每个年轻人的必备品. 打开电话，听音乐，浏览新闻，看小说，看看您喜欢买，买，买...

有一天，您突然发现移动应用越来越了解自己. 他们知道他们推荐什么样的音乐，新闻，小说和商品，推荐的东西可能就是您想要的.

在现代推荐系统之后，实时流计算技术的阴影越来越多地出现（见图1-4）. 通过对从用户手机中收集的行为数据进行实时分析，可以探索用户的兴趣和偏好，并向用户推荐可能感兴趣的内容或产品. 也许很不喜欢被机器引导的感觉，但是我们仍然不可避免地受到它们的影响.

▲图1-4基于Spark Streaming的实时零售推荐系统

这里仅是使用流计算技术的场景的简要列表. 实际上，在越来越多的行业中，传统上使用脱机批处理技术完成的许多事情逐渐转变为实时流计算技术. 因此，读者不妨大胆运用自己的想象力，尝试将实时流计算技术应用于生活的各个方面，并挖掘实时信息的潜在价值. 也许他们会感到惊讶.

03实时流数据的功能

本节介绍了实时流计算技术的使用场景. 实时流计算技术的处理对象是实时流数据. 尽管实时流数据的来源千变万化，但总而言之，实时流数据通常是实时，随机，无序和无限制的.

1. 实时性能

之所以需要收集实时流数据并进行实时处理，是因为这些数据具有实时价值. 例如，预警以避免火灾，贷款前反欺诈以避免欺诈性贷款，以及量化交易以抓住市场机会. 如果您在事后分析这些数据，这时已经发生了火灾，骗子已经抢钱逃离，错过了市场机会，并且分析数据带来的价值仅限于“不要忘记过去，未来的老师. ”

因此，实时流数据的计算和分析必须在其实时值消失之前完成，这要求计算延迟必须小. 有时，大量的数据和复杂的计算可能导致无法进行实时计算. 此时，甚至可能会牺牲结果的准确性. 在确保误差在可接受范围内的前提下，优先考虑计算的实时性能.

2. 随机性

流数据是现实世界中各种事件的体现. 现实事件的随机发生使流数据的生成在时间和数量上都是随机的. 有时在很长一段时间内只生成少量数据，有时在很短时间内内生成大量数据.

实时流数据的随机性对各种流量和突发情况下实时流计算系统的处理能力和服务稳定性提出了要求. 我们可以从数据采样，数据缓冲和计算资源的动态调整三个方面解决实时流数据的随机性问题.

在某些情况下，流数据量非常大，这暂时超过了系统的处理能力. 如果业务需求允许，您可以考虑丢弃某些数据，或使用采样算法来减少计算压力. 如果不允许丢失数据，则可以使用具有缓冲和持久性功能的消息中间件来临时缓冲数据，从而使系统能够平滑地处理数据流并平滑峰值流量.

此外，在某些资源敏感的情况下，实时流计算系统可能有必要根据流量压力动态增加或减少计算资源，以便在满足实时需求的同时最大化计算资源的效率. 时间流计算.

3. 混乱

流数据是有关时间的一系列事件. 我们通常希望事件会根据事件发生的时间顺序到达系统，但是由于异步，并发，网络延迟，不同步时间和系统故障等许多原因，很难保证事件的全局顺序. 从严格意义上讲，甚至几乎是不可能的. 可以.

然后，下一步是将数据保留在本地时间窗口内. 在当前主流的实时流计算框架中，一种常见的做法是根据时间戳将接收到的事件分配到时间窗分片上，等待一段时间后，触发时间窗分片中数据的统一处理操作

流数据中有两种类型的时间: 事件发生时间和事件处理时间. 事件发生时间是指事件发生的时刻，事件处理时间是指系统处理事件的时刻. 这两种类型的时间将导致流计算的过程和结果不同，并且所使用的具体时间因方案而异.

4. 无限

流数据是随时间无限增长的数据序列. 这是流数据和批处理数据之间最本质的区别. 批处理数据每次处理时的数据量都受到限制，而流数据没有“每次”的概念，但始终在不断地产生. 流数据和批处理数据之间的差异导致系统体系结构和算法实现上的差异.

在系统架构中，实时流数据的无限本质要求系统具有高可用性和实时处理能力. 一方面，当系统出现故障时，如果系统不具有高可用性，则流数据将丢失并且流计算将被挂起. 这与实时流计算的目标（即获取实时流数据的实时值）相反，因此是不能容忍的.

另一方面，当系统的处理能力无法跟上数据流的速度时，将堆积要处理的消息. 当积压量超过阈值时，存储空间有限的系统将不可避免地崩溃. 为了消除现有的消息积压，系统的处理能力必须超过数据流的速度，否则积压将始终存在.

就算法实现而言，实时流数据的无限性挑战了最初为批处理数据设计的算法. 一方面，实时流计算过程中的可用空间和可用时间有更严格的限制；另一方面，流计算的输入数据随时间无限增加，这与批处理算法的有限数据集本质上不同. . 因此，与批处理算法相比，实时流计算中使用的算法在算法实现和算法复杂度上将有明显的不同.

在实时流数据的四个特征中，无穷大是流数据和批处理数据之间的最大区别，这直接导致了流和批处理之间的不同查询模式. 批处理将对固定数据集执行不同的查询，而流处理将对无限数据集执行固定查询. 实时性，随机性和无序性不仅是实时流计算系统的特征，而且还是我们要解决的问题.

关于作者: 周爽，毕业于华中科技大学，曾在华为2012实验室高斯系和上海兴义信息技术工作. 开发了实时分析存储RTANA，华为公有云RDS服务，移动反欺诈MoFA等产品. 他目前是公司技术部门的架构师. 《实时流计算系统的设计和实现》的作者.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-286691-1.html