当年我们使用的流计算框架

根据那个时代，企业需要数据中的信息来创造价值，而这种工作需要一个计算框架来完成. 在传统的数据处理过程中，总是先收集数据，然后将数据放入中. 当人们需要通过查询数据时，获取答案或执行相关处理. 尽管这看起来很合理，但结果却非常紧凑过流计算，尤其是对于某些实时搜索应用程序环境中的某些特定问题. 类似于MapReduce的脱机处理无法很好地解决.

以此为基础，出现了一种新的数据计算结构，即流计算，它可以在变化的运动过程中实时分析流数据并实时捕获潜在有用的信息. 并将结果发送到下一个计算节点.

什么是流计算？

当前，对高及时性和信息可操作性的需求不断增长，这要求软件系统能够在更短的时间内处理更多的数据. 传统的大数据处理模型将事务处理和离线分析与时间序列完全分开，但是很明显，该体系结构已落后于人们对大数据实时处理的需求.

流计算的产生来自对数据处理及时性的严格要求: 数据的商业价值随着时间的流逝而迅速下降，因此必须在数据发生后尽快对其进行计算和处理. 但是，传统的大数据处理模式遵循传统的日常和日常模式进行数据处理，即以数小时甚至数天的计算周期来累积和处理当前数据. 显然，这种类型的处理无法满足实时数据计算的需求. 在许多业务场景中，例如实时大数据分析，风险控制预警，实时预测和财务交易，批处理（或脱机）处理完全不能满足上述要求的应用领域的业务需求严重的数据处理延迟. 的. 流计算作为一种用于流数据的实时计算模型，可以有效减少全链接数据流的延迟过流计算，实时计算逻辑并摊销计算成本，最终有效地满足实时业务需求大数据处理.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-149188-1.html