第4章数据仓库和OLAP

数据挖掘，于美，目录，天津大学计算机科学与技术学院目录1.5 2 4.1 4.2 4.3 4.4数据仓库的基本概念数据仓库的设计用于分析和处理的元数据模型4.5第4.1章，数据仓库的基本概念4 4.1数据仓库的基础概念数据仓库的定义和特征–数据仓库是面向主题的，集成的，随时间变化且非易失性的数据收集，用于支持管理者的决策过程–数据仓库的特征•主题面向•集成•时变•非易失性5 4.1数据仓库的基本概念面向数据仓库-主题的对象围绕重要主题（例如客户，产品和销售）进行组织-侧重于决策者的数据建模而无需分析，不涉及日常运营和交易处理-通过排除对决策无用的数据，从而为特定情况提供简单明了的计划主题6 4.1数据仓库的基本概念基于多个异类数据源的集成而构建的数据仓库•关系，常规文档，事务处理记录-应用数据清理和数据集成技术•确保命名约定的一致性，编码结构，以及不同数据源中的属性测量. 例如，酒店价格: 货币类型，税额，是否包括早餐等. –将数据移入数据仓库时将对其进行转换7 4.1数据仓库的基本概念数据仓库随时间变化–时间数据仓库所覆盖的范围比业务操作系统数据要长得多•业务运营数据: 实时数据•数据仓库数据: 从历史角度（例如，过去5-10年）提供信息–每个关键数据仓库中的结构•隐式或显式地包含时间元素•但可以包含业务中的关键结构，也可以不包含“时间元素” 8 4.1数据仓库的基本概念数据仓库-非易失性数据仓库在业务环境中转换数据并在物理上分离存储-数据仓库环境中不存在业务数据更新•无需事务处理，恢复和分发控制机制•仅需要两个数据访问操作: 数据初始加载和数据访问9 4.1数据仓库的基本概念数据仓库体系结构其他数据源业务数据仓库元数据监视和集成分析查询报告数据挖掘，提取，转换，加载和刷新，数据集市服务，OLAP服务器olap与数据仓库互补，数据源，数据存储，OLAP引擎前端工具10 4.1数据仓库的基本概念-数据仓库服务器-使用某些后端工具和实用程序从其他外部数据源传输数据清理，转换，加载和刷新以及将高质量数据更新到数据仓库.

–数据集市，也称为数据市场olap与数据仓库互补，是一个仓库，该仓库从运营数据和为特定从业者群体服务的其他数据源收集数据. 它是数据仓库的子集. 11 4.1数据仓库基本概念的中间层: OLAP服务器-分析处理（OLAP）是用于数据仓库系统的前端分析服务的分析工具. 它可以快速聚合大量数据并执行有效的查询分析，从而为分析师提供决策支持. . •使用与OLAP相关的模型将多维数据上的操作映射到标准关系操作，或直接实现多维数据操作. •OLAP操作可以与数据挖掘功能（例如解关联，分类，预测和聚类）结合使用，以增强多维数据挖掘12 4.1数据仓库的基本概念顶层: 前端客户端层-包括数据挖掘工具（例如趋势分析，预测等），数据分析工具和查询非报告工具. 使用OLAP相关模型将多维数据上的操作映射到标准关系操作，或直接实现多维数据操作. –知识工作者（例如经理，主管，分析师等）直接操作以获取知识. 13 4.1数据仓库数据模型的基本概念数据模型是数据仓库构建的基础. –完整，灵活和稳定的数据模型在数据仓库项目的成功中起着重要作用.

•数据模型是整个系统构建过程的导航图•有利于数据集成•消除了数据描述中的不一致•可以消除数据仓库中的冗余数据14 4.1数据仓库的基本概念三层数据模型–概念模型•额销售货币表4-4销售事实表存储结构关系模型19 4.2数据仓库设计物理模型设计-建立索引策略-通过索引框架可以提高查询效率，而性能常用的索引策略是B树索引，位图索引，集群索引20 4.2数据仓库设计物理模型设计-数据存储位置-同一主题上的数据不需要根据数据的使用情况，将其存储在同一存储介质中. 数据的频率和重要性以及时间响应要求，将不同的数据存储在不同的存储设备上第4.3章数据仓库的实现3 4.3数据仓库的实现–数据仓库的实现•是信息提供平台•从业务处理系统获取数据，主要是用星际数据组织数据. odel和雪花模型•为用户提供从数据中获取信息和知识的各种方法•它既是项目又是过程–实施工具•SQL Server 2005 4 4.3数据仓库的实施–数据仓库的实施步骤•创建分析服务项目•定义数据源•定义数据计划•定义多维数据集•部署Analysis Services项目第4.4章联机分析处理3 4.4联机分析处理– OLAP（联机分析处理）定义使分析师，管理人员或执行人员可以从多种信息角度中进行选择从原始数据转换而来，并可以被用户真正理解，并快速，一致和交互地反映企业的多维特征，从而获得一类对数据技术有更深入了解的软件.

4 4.4分析处理OLAP功能快速-系统可以在几秒钟内响应用户的大多数分析要求-可分析性-可以处理任何不适用的逻辑分析和统计分析-多维•提供多维规划和分析数据，包括全面支持分层和多级维度5 4.4分析处理OLAP体系结构–数据仓库和OLAP之间的关系是互补的，现代OLAP系统通常使用数据仓库作为基础. 必要的聚合之后，前端分析工具读取数据仓库OLAP存储的前端工具聚合存储过程OLAP体系结构6 4.4联机分析处理OLAP和OLTP关系事务处理（OLTP）数据分析（OLAP）用户文员，IT人员员工知识分析师（分析师）的职能日常操作决策支持设计面向应用面向主题的数据当前，最新详细，关系独立历史，摘要，多维集成，有组织的用法，重复的特殊访​​问方法，读/写主键索引/哈希，大量浏览工作单元，简单的事务处理，复杂的查询，访问记录的数量数亿用户数以百计的规模100MB-GB 100GB-TB测量事务吞吐量查询吞吐量，响应时间7 4.4分析处理–典型的OLAP操作•汇总，向上钻取（汇总）: 聚合数据按概念分层或布局•汇总，向下钻取: 汇总的反向操作是从高级聚合到低级聚合或详细数据，或新的维度•切片和切块: 构建项目并选择•旋转，旋转: 旋转数据立方体，可视化操作n，将3D多维数据集转换为2D平面•钻取其他操作（钻取）: 包括（跨越）多个事实表钻取: 使用SQL向下钻取到数据立方体的底部，到后端关系表8 4.4分析处理第4.5章元数据模型46 4.1数据仓库的基本概念元-元数据是定义数据仓库对象的数据-元数据包括以下内容: •描述模式，计划，维度，数据仓库结构的层次结构，定义导出的数据，数据集市的位置和内容•操作数据源数据沿袭（迁移数据的历史记录及其使用的转换序列），数据流通（活动，归档或纯化）和管理信息（仓库使用的统计数据，错误报告和审核跟踪）•用于聚合算法•从操作环境到数据仓库的映射•数据仓库模型，计划和定义有关系统性能的派生数据•业务数据业务术语和定义，数据所有者信息，计费策略3 4.5元数据模型meta数据类型–元数据是定义数据仓库对象的数据–根据使用情况而有所不同•业务元数据: 在从业务角度看数据仓库•技术元数据: 描述有关数据仓库的技术细节，主要用于开发，管理和维护数据仓库-基于元数据的状态•静态元数据: 主要包括业务规则，类别，索引，来源，生成时间，数据类型等. •动态元数据: 主要包括数据质量，统计信息和状态，处理，存储位置，存储大小，参考位置等. 4 4.5元数据在元数据模型中的作用–描述数据仓库内容的确定–定义提取和转换–基于业务事件的提取调度–数据质量保证数据仓库e（元数据源）业务数据提取，转换和存储，用户分析主题领域元数据在整个数据仓库开发和使用过程中的作用5 4.5元数据模型元数据的使用–技术人员–业务人员–高级用户感谢您的关注谢谢您的指导！

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-280809-1.html