大数据比较系统比较异常

当前Hadoop系统周围的大数据架构包括:

传统的大数据架构

没有对数据分析业务进行任何更改，但是由于数据量和性能等问题，系统无法正常使用，因此需要对其进行升级. 这种类型的架构就是要解决这个问题. ETL操作仍然保留，并且数据通过ETL操作输入到数据存储中. 数据分析要求仍然由BI场景主导，但是由于数据量和性能问题，它们无法满足日常使用.

流式传输体系结构

基于传统的大数据架构，流架构的数据以流的形式进行处理，而ETL被数据访问端的数据通道所取代. 通过流处理处理的数据以消息的形式直接推送给使用者. 存储部分以窗口的形式存储在系统中. 适用于预警，监视和数据有效性要求等情况.

Lambda体系结构

Lambda体系结构是大数据系统中的关键体系结构. 数据通道分为两个分支: 实时流传输和脱机. 实时流遵循流体系结构，确保其实时性，而脱机主要是批处理，以确保最终的一致性. 适用于同时存在实时和离线需求的情况.

Kappa体系结构

Kappa体系结构在Lambda的基础上进行了优化，结合了实时部分和流部分大数据比对，并用消息队列替换了数据通道. 因此大数据比对，对于Kappa体系结构，流处理仍然是主要方法，但是数据存储在数据湖级. 当需要离线分析或重新计算时，可以再次通过消息队列重播数据湖数据.

Unifield建筑

Unifield体系结构集成了机器学习和数据处理功能，并将机器学习层添加到流处理层. 数据通过数据通道进入数据湖之后，添加了模型训练部分，并将其用于流传输层. 同时，流传输层不仅使用模型，还包括对模型的连续训练. 它适用于需要分析大量数据，同时又对机器学习有很大需求或有计划的情况.

有关大数据体系结构的更多信息，请参阅大数据开发者社区.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-156174-1.html