了解QuickBI OLAP引擎的技术原理，每个人都是数据分析师

阿里巴巴技术专家Zi Che从各个方面带您了解QuickBI的OLAP引擎的技术原理. 首先，它介绍了BI在的现状，然后对QuickBI的定位，使用过程和客户案例进行了详细分析. 并详细解释了OLAP引擎olap数据源，最后对未来的发展方向和前景进行了深刻的总结.

观看实况视频

PPT下载，请单击

这是一个很棒的视频内容组织:

BI和OLAP的两个概念对于许多技术人员而言并不陌生. 当前，有许多流行的BI产品，例如国外的Tableau，Microsoft Power BI和QlikView. 永宏BI，Fansoft BI，Haizhi BDP等. 这些都是在行业中享有盛誉的BI产品，而阿里云的QuickBI也是数据分析和数据可视化领域中的优秀BI产品.

上图是QuickBI产品的主页. 您可以在主页上看到QuickBI产品的介绍，例如产品功能，基本使用过程，不同版本之间的功能，使用QuickBI的实际作战场景以及垂直应用场景. 等待. 此外，还有帮助文档和视频教程，可帮助用户快速学习使用QuickBI产品.

BI随着时代的发展，新BI与传统BI的区分已逐渐出现. 从当前的发展水平来看，传统的BI正在缓慢下降，而新的BI处于快速发展时期. 由于传统BI的问题，这些问题也成为其发展的瓶颈:

相比之下，新型BI可以有效解决上述问题. QuickBI的定位是通过临时分析，电子报告制作和拖放式可视化分析来提供数据分析，以便了解业务的人员可以自己执行数据分析. 为了重塑数据生产的完整链接，每个人最终都将成为数据分析师. 可以从以下几点来具体分析这句话的含义:

使用QuickBI进行数据分析大致分为四个步骤:

添加数据源: BI支持多个数据源访问. 主要有三种类型: 云数据源，用户构建的以及通过触摸空间上传到平台以提供数据分析服务的用户本地文件. 创建数据集: 与数据源建立连接后，您可以处理表，并巩固表的处理以避免重复操作. 报表制作: 整个报表制作分为两个模块，分别是类似于Excel的编辑表和带有可视化分布图的仪表板. 电子表格和仪表板均可提供强大的数据分析服务. 报告应用程序: 完成电子表格或仪表板后，您可以将这些电子表格或仪表板构建到数据门户中. 在数据门户中，您可以无缝集成用户想要显示的报告. 所有报告也可以由第三方使用. 嵌入式集成，除提供各种报告功能外，还与用户自己的平台无缝集成.

QuickBI功能示例

上图是QuickBI提供的一种电子表格. 整个电子表格提供的分析功能类似于Excel. 它提供300多种常用功能. 这些功能与Excel维护几乎相同的使用方法，因此很熟练. Excel员工无缝整合了经验，使用户更易于使用.

此图片是仪表板的屏幕截图. 您可以看到有超过20种类型的数据图表. 您可以在整个仪表板上执行许强大的数据分析图表，提供丰富的可视化图表，并且可以在图表之间实现. 图表链接，图表跳转和图表收益分析.

勤思科技更加关注业务运营中用户的保留率和活跃率. 与QuickBI对接后，技术人员完成了基础数据的收集，处理和清理，并将数据导出到数据分析. 报表工作人员自己完成报表开发工作，满足两种不同的自定义报表和临时分析方案.

类似于秦思技术，但不同之处在于，奥兰治技术需要将生成的报告与公司自己的管理系统集成在一起，从而解决了员工使用不同系统工作的问题. QuickBI提供了第三个平台的集成和集成功能，可以更好地满足Orange Technology的需求.

一个完整的数据建模和数据分析过程可以分为四个部分. 首先，您需要浏览数据源的元数据，使用元数据执行数据建模，并生成符合规则的数据集. 其次，您需要使用数据集来结合可视化图表执行数据分析并创建查询模型. 然后解析查询模型以生成可以与当前数据源匹配的sql语句，然后将其发送到数据源以进行数据查询. 处理查询结果后，将其传输到报表以进行可视显示.

整个技术架构图可以分为几个大部分: 第一个是基本模型，主要包括元数据模型，数据集模型和查询模型. 元数据模型是元数据的基本封装，包括各种元数据使用值属性，例如表/视图，字段，主键/外键，索引，分区字段，函数和存储过程. 这些属性可以与用户快速协作完成数据集建模工作.

数据集模型是抽象描述数据源的模型. 它将物理字段映射到抽象维度，将物理表或视图映射到关联关系，并且可以使用高级功能（例如，分组和计算字段）来实现复杂的条件表达式. 表达式和计算表达式. 用户可以在数据分析过程中屏蔽各种物理细节，从而简化了用户的使用成本.

查询模型是用于数据分析的抽象描述的模型. 它可以将最终查询条件抽象到查询模型中. 因为查询模型是抽象的，并且基本上不能由数据源识别，所以查询模型将转换为数据源在执行数据查询时可以识别的查询. 查询过程具体包括接口层，路由层和查询引擎层. 接口层提供两种类型的表达式: 数据查询表达式（DQX）和数据权限表达式（DAX）. 路由层主要用于并发控制，路由策略，数据封装和异常检查.

整个QuickBI提供两种类型的普通查询引擎和加速引擎. 这两个引擎具有相似的功能. 它们都将查询模型转换为可以由数据源标识的查询语句，并针对各种高级计算规则运行. 查询结果的进一步处理. 最大的区别是底层执行框架有所不同. 通用查询可以通过自操作的分布式执行框架与基础数据源对接，而加速查询引入了MPP计算框架以与大数据系统接口，并依赖于MPP框架本身. 实现海量数据集成响应的性能.

数据源可以简单地分为几类: 包括SQL数据源，可以进一步分为关系和分析，其次是NoSQL，大数据离线计算系统和API数据源，最后一个是文件类型的数据源.

{9: 7: 9: 5: c: 7: d: e: 4: 4: 9: 9: e: 6: 0 0: e: e: 8: b: 3: 6: 5: b: a: f: c: 5: 4: d: f: 4: e）

从上图中，您可以看到用户提供了对数据源的访问. MetadataCrawter用于提取用户中的元数据，然后构造所需的元数据模型. 元数据模型中提供了几种不同的模型. 属性. 元数据模型由CubeAutoBuilder自动转换为数据集模型. 数据集模型描述了整个数据集中涉及的维度，度量，层次结构，成员和关联模型. 在数据模型中，除了元数据模型智能构建的数据集外，用户还可以自行执行建模操作. 可以通过构造关联模型来实现单表模型，新模型或雪花模型. 最终，整个模型以xml格式存储. 可以通过CubeXmlGenerator将数据模型转换为xml存储格式. 相反，可以通过CubeXmlGenerator将xml格式转换为数据集.

如前所述，整个访问层包括DQX和DAX. 数据查询的第一个过程是接收DQX和DAX，对这两个表达式进行重组，重组和优化，最后将它们集成到统一查询中. 模型. 智能路由根据用户级别分为多个队列，每个队列都有一定数量的限制. 如果用户的产品引擎达到上限，则需要在队列中等待，否则可以将其放入RunningPool中. 然后，通过RoutingPolicy确定产品属于哪个查询引擎，此处提供了两个不同的查询引擎，包括普通查询引擎和快速查询引擎. 不同的查询引擎使用不同的计算框架，最终将计算出的查询结果转换为RewRsult数据格式.

查询模型进入查询引擎后，将查询模型转换，将查询​​模型转换为抽象语法树，然后将语法树转换为SQL语句，这些语句将退回到各种数据源. SQL语句将放入缓冲区管理. 模块做出判断. 如果执行结果存在于缓冲区管理模块中，则直接在缓冲区管理模块中读出结果. 如果不存在，则将数据源的SQL语句转换为查询任务，然后将查询任务划分为分布式框架. 分布式框架主要负责与基础数据源对接，将相应的SQL语句放入数据源中以执行并获取查询结果olap数据源，并将其返回给查询引擎以生成查询结果集. 查询结果集将转换为数据，最后将基于查询. 处理结果集以进行内存净化.

加速引擎与查询引擎非常相似. 唯一的区别是底层框架的执行. 查询引擎是QPI独立开发的分布式执行框架，而加速引擎引入了MPP引擎框架. MPP框架可用于定位大数据. 查询响应以秒为单位.

未来的探索方向可以大致分为四个方面:

如果有任何需要和咨询，可以单击链接提交:

market.tianchi.aliyun.com/outsource/offer/publish.htm?type=PROJECT

作者: 九州云运动

原始链接

有关更多技术干货，请关注云栖社区志湖机构编号: 阿里云云栖社区志湖

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-146842-1.html