cognos多维分析技术（OLAP）的发展

发展背景

随着技术的广泛应用，企业信息系统生成大量数据. 如何从这些海量数据中提取有用的信息用于企业决策分析，已经成为企业决策管理者面临的重要问题. 传统的企业系统，即作为数据管理方法的事务处理系统（Online Transaction Processing，简称OLTP），主要用于事务处理，但是对分析处理的支持并不令人满意. 因此，人们逐渐尝试对OLTP中的数据进行重新处理，以形成一个全面的，面向分析的，更好的决策支持系统（Decision Support System，简称DSS）来支持决策. 企业信息系统的数据通常由DBMS管理，但是决策和操作在数据源，数据内容，数据模式，服务对象，访问方法，事务管理甚至物理方面都具有不同的特征和要求. 存储. 因此，不适合在运行操作的上直接建立DSS. 数据仓库（Data Warehouse）技术就是在这种背景下开发的. 数据仓库的概念是在1980年代中期提出的，在1990年代，数据仓库已经从早期的探索阶段过渡到了实际阶段. 数据仓库中的数据量巨大. 为了提高性能，RDBMS通常还采取一些措施来提高效率: 采用并行处理结构，新数据组织，查询策略，索引技术等.

分析处理（OLAP）系统是数据仓库系统最重要的应用，专门设计用于支持复杂的分析操作，并根据分析重点关注决策者和高级管理人员的决策支持. 快速，灵活地执行大量数据的复杂查询处理，并以直观易懂的格式将查询结果提供给决策者，以便他们可以准确地掌握企业的业务状况，了解企业的​​需求对象，并制定正确的方案.

建筑

根据其内存的数据存储格式，OLAP系统可以分为三种类型: 关系OLAP（关系OLAP，ROLAP），多维OLAP（多维OLAP，MOLAP）和混合OLAP（HybridOLAP，HOLAP）.

ROLAP将多维数据存储在关系中以进行分析，并根据应用程序的需要可选地定义一批物理视图以存储在关系中. 不必将每个SQL查询都保存为物理视图，只需定义那些应用程序即可将频率较高且计算量很大的查询用作物理视图. 对于对OLAP服务器的每个查询，首先使用计算出的物理视图生成查询结果，以提高查询效率. 同时，用作ROLAP内存的RDBMS也针对OLAP进行了优化，例如并行存储，并行查询，并行数据管理，基于成本的查询优化，位图索引，SQL OLAP扩展（多维数据集，汇总）等. 通过IBM Cognos BI中的多维逻辑模型DMR进行关系分析的关系是ROLAP.

MOLAP将OLAP分析中使用的多维数据物理存储为多维数组，从而形成“多维数据集”结构. 维度的属性值映射到多维数组的下标值或下标范围，摘要数据作为多维数组的值存储在数组的单元格中. 因为MOLAP使用从物理层实现的新存储结构，所以它也称为物理OLAP（Physical OLAP）. 尽管ROLAP主要通过某些软件工具或中间软件来实现olap多维分析，但是物理层仍使用关系的存储结构，因此称为Virtual OLAP（虚拟OLAP）. 通过IBM Cognos BI中的物理PowerCube进行的多维分析属于MOLAP.

这正是因为MOLAP和ROLAP具有各自的优缺点（ROLAP具有大量数据，但是处理性能低； MOLAP具有较高的处理性能olap多维分析，但是数据量不能太大）及其结构两者之间有很大的不同，这给分析人员OLAP结构的设计带来了困难. 为此，提出了一种新的OLAP结构-混合OLAP（HOLAP），它可以结合MOLAP和ROLAP的优点. 显然，HOLAP结构不应该是MOLAP和ROLAP结构的简单结合，而是这两种结构的技术优势的有机结合，可以满足用户各种复杂的分析要求. 例如: IBM Cognos BI可以在PowerCubes中存储高度汇总的数据，详细数据使用DMR多维逻辑模型，并且通过渗透钻探进行的无缝多维分析属于HOLAP.

现在，随着企业数据量的指数增长，硬件性能的不断提高以及内存价格的下降，出现了一种基于内存的新OLAP架构. 这种新的体系结构不仅可以确保类似于MOLAP方法的高性能，而且可以基于大量数据进行分析，并且不需要定期将中的数据刷新到OLAP服务器以确保数据的有效性. 它的许多优点已为市场所追捧，而这种新架构理应成为建立多维分析环境的流行选择，而IBM Cognos BI的Dynamic Cubes是其代表作.

动态多维数据集简介

我们知道，随着数据量的增加，某些数据仓库的原始多维分析技术架构已逐渐无法满足业务用户的性能需求，尤其是对于某些大型数据源（例如TB级）详细数据. . 这些客户通常只能通过使用汇总表和汇总表来提高访问性能，但是他们仍然充满挑战. 例如，美国有一家制药公司分析所有处方. 银行分析了客户，家庭及其关联客户等的交易模式. 他们使用传统解决方案（MOLAP，ROLAP）的局限性，因为它们无法考虑大量数据和高性能访问.

如上图所示，在IBM Cognos BI的传统多维分析方法中，32位PowerCube需要聚合大量详细数据，以确保Cube数据文件不会太大. 64位TM1cubes可以处理大量数据，但通常是为需要回写的假设应用场景而设计的，而不是为纯粹的BI报告和分析而设计的. 基于关系的OLAP需要能够处理任何数量的数据，但是即使使用DQM（动态查询模式），随着数据量的增加，性能也会下降. 在这种情况下，动态多维数据集应运而生.

动态多维数据集基于传统的ROLAP，添加了基于内存的OLAP模块. 它通过动态查询模式直接从关系数据仓库中获取数据，并提供多维视图以提高性能. Dynamic Cube在Cognos的查询堆栈中引入了一个性能层，它可以满足用户对大型数据仓库的低延迟，高性能多维分析，并且可以支持TB级的数据. 动态多维数据集是可扩展的，它还可以使用缓存，优化的预聚合（内存中或中）以及优化的SQL来实现高性能. 具有以下特点:

动态多维数据集基于具有数百万个记录或更多大数据量的事实表以及具有数百万个成员的维表创建多维模型，从而可以实现低延迟数据分析. 如下图所示，通过动态查询模式（DQM），动态多维数据集将中的数据加载到服务器内存中进行缓存，其中包括维成员，事实表数据，表达式，结果集和聚合表以进行改进多维分析的访问性能. 加载缓存后，所有用户都可以通过统一的安全身份验证看到他们可以看到的数据. 聚合意识是通过选择最合适的聚合表来确保数据查询可以实现高性能的数据访问.

下图显示了动态多维数据集在集成的IBM Cognos BI平台上的位置.

作者: 狮子会智慧社区的美好时光

原始链接: 返回搜狐，查看更多

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-178329-1.html