从BI角度看大数据分析平台

随着大数据和云计算的广泛应用，传统的数据仓库（DW）和商业智能（BI）不能满足日新月异的分析需求. 对于企业而言，海量数据既是财富，又是负担. 决策者必须面对的问题是如何构建现代的大数据分析平台.

企业输入大数据的门槛取决于用户和工具等多个指标，无法一概而论. 在处理兆兆字节级别时，有些可能需要更新数据体系结构，而另一些需要仅在新的业务应用程序集成之后才意识到现代大数据平台的必要性. 大数据的概念也随着技术的发展而发展，特别是存储成本越来越低，数据源也越来越广. 我们不再需要关心数据本身的“大小”，而是专注于数据. 可以生成的值.

如何定义大数据分析平台的门槛？

一旦决定建立大数据分析平台，公司将面临各种各样的商业产品和服务. 除了掌握各种体系结构的应用场景外，我们还需要从头了解BI生态系统中通常包含的组件.

1. 数据源

与传统解决方案相比，大数据的数据源将来自企业内部和外部的各种渠道.

这包括可以从内部获得的传统结构化业务数据；还有大量的半结构化或非结构化数据从外部应用程序以日志或文件的形式流入平台.

2，数据存储

大数据平台的存储通常是指数据湖的概念. 考虑到数据源的大小和类型，该体系结构将倾向于为ELT而不是ETL建立流水线，并存储几乎与数据源无法区分的数据集. 在产品上，通常选择分布式文件系统，例如Hadoop HDFS或AWS B3提供的公共云服务Azure Blob.

数据湖的概念非常生动地描述了存储层，也就是说，无论数据来自何处，大脑都首先被扔进“湖”中. 这个“湖”对现代企业具有很大的价值.

3. 数据分析

数据分析层是指现代数据仓库，即经过处理和建模后符合特定范例的数据存储. 与传统的数据仓库相比，除了考虑Kimball的星形模型外bi数据分析，我们还可以选择NoSQL分析模型来满足低延迟或高频交互的需求.

4. 报告（报告）

报告层是最接近用户的组件，并提供直接的BI可视化内容. Power BI，Tableau，Qlik等是常见的自助式BI工具.

随着内存中技术的发展，报告不再局限于视觉功能，而是为语义建模提供了机会. 例如，在数据分析层上建立Analysis Services可以进一步管理报表中使用的计算和模型.

多维分析服务作为一种传统的OLAP解决方案，曾经在BI解决方案中发挥了重要作用. 在讨论大数据分析平台时，我们默认使用表格式模型，例如Azure Analysis Services. 可以在另一篇文章中打开有关多维和表格格式的讨论.

5. 数据处理

根据数据源的不同性质，我们需要在组件之间建立不同的“桥”以使数据通过.

6. 机器学习

机器学习专门针对前面提到的场景，数据科学家直接使用数据存储.

数据分析层可以满足大量的业务报告功能，但是由于高度定制的要求，因此这里的数据被“清理”得太干净了. 通过数据准备和机器学习培训，高级分析师可以直接将来自数据源，结构和属性的不同数据集成到数据存储中，以探索“新”数据的更深层次的价值.

7. 流程管理（业务流程）

过程管理有点像传统ETL工作的扩展. 它致力于在大数据平台上建立自动化的工作流程. 我们可以将此组件视为一个连续旋转的齿轮，数据内容就像水一样，齿轮驱动的能量不断在管道中流动.

对于基本框架bi数据分析，我们必须考虑选择BI生态系统，并用可实现的解决方案替换框架中的组件. 行业，产品和应用场景都是影响决策的因素.

例如，如果要在Azure上构建BI平台，则使用的基本服务可能会像这样增长.

基于Azure的大数据BI平台

随着数据变得越来越丰富，我们公司已经招募了一批新的数据科学家来为更深入的数据挖掘做准备. 除了业务线上的数据仓库外，该公司还开发了分析应用程序并启动了新的分析.

具有高级分析功能的BI平台

接下来，该公司在用户的客户端上安装了传感器，并开始收集和处理由IoT生成的实时数据. 随着我们业务的发展，我们的架构也会相应地发生变化.

具有实时数据处理功能的BI平台

以上示例的重点不是服务的选择，而是业务发展对大数据分析平台的影响. 回到开始提到的大数据门槛，有无数的现代BI架构，但最后都需要讨论它们与数据和价值之间的关系.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-151131-1.html