海量数据流处理解决方案

海量数据流处理解决方案当前的海量数据实时处理面临挑战. 车联网是典型的大数据应用场景. 以一个中型（可并行访问数百万辆汽车）汽车联网系统为例，假设平均每辆汽车每秒通过无线通信实时上传200个信号，则工作标准为7 * 13小时，3个备份存储，则服务器所需的存储大小在一年内很容易超过10PB. 面对如此海量的数据应用，传统的数据处理方法是“先存储后处理”，但往往很多数据都有实时处理的要求，例如实时监控，故障监控等. 面对如此海量的数据并行访问， “传统”方法已不能满足海量数据实时处理的需求，流计算应运而生. 流计算在“传统”处理中，可以对历史数据进行分析查询: 例如，处理由车载终端实时传输的全球定位系统（GPS）位置的数据集，以计算车辆的行驶里程在一个月内. 使用流计算，由于不断更新来自GPS数据的位置信息，因此可以执行类似于连续计算行驶距离的“连续查询”过程. 就“传统”数据处理方式而言，GPS实时数据只能先存储在中，然后在完成月份的行程后，可以查询的历史数据来计算月份的里程. 由于数据量很大，这种类似于脱机分析的数据处理方法的响应非常慢海量数据处理方案，无法满足某些实时数据应用程序的要求.

使用流计算的优点是实时处理数据. 一方面，它可以满足海量数据实时分析的需求. 另一方面，低价值数据的预处理和存储可以有效节省存储空间并从中受益. 提高后续数据处理效率. 下图显示了流计算: IBM InfoSphere Streams为您提供了一个用于海量数据的实时分析平台. IBM InfoSphere Streams是行业领先的流计算软件，专门针对大数据的特性量身定制，并且可以完全满足海量数据的高并发性. /实时数据处理要求适用于非结构化多形式数据的场合. 另外，Streams还可以用作ETL工具来处理原始的历史数据. 与其他流数据处理解决方案相比，Streams的技术优势如下: Streams是用于处理流数据的低延迟平台. Streams是一个功能强大的扩展的高性能平台，用于实时分析，可以支持多达125个节点的集群扩展. Streams是一种灵活的动态平台，Streams应用程序可以灵活部署，支持动态部署新的分析应用程序以支持机器学习，可以融市场，能源，电子科学和医疗行业的许多组织中实施，并构建了各种应用程序.

IBM InfoSphere Streams产品组件3: InfoSphereStreams组件StreamsStudio: 基于Eclipse 3.6.2的集成开发环境（IDE），用于快速开发，测试和调试流应用程序和Streams Live Graph以可视化地显示运行时Jobs和job在集群上执行的组件. Streams操作环境: 服务器或服务器群集，群集大小不受限制. 高可用性功能包括检测故障过程元素，重新查找，重新启动以及可选地重新存储状态的能力. 带有HTTP，HTTPS，FTP，FTPS，RSS和文件源运算符的Internet工具包. 具有ODBC驱动程序和高速solidDB驱动程序的工具包，用于流扩展. 用于预测模型标记语言（PMML）分数的挖掘工具. 该软件包包含用于WebSphere Front Office v3.0.2.1的财务工具包，财务信息交换（FIX），QuantLib和库功能. 这些函数计算普通股票期权衍生价值，例如delta，theta，rho和vega. 超过50个示例应用程序和流处理语言工件示例

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-246790-1.html