数据仓库简介

数据仓库是面向主题的，集成的，随时间变化的数据收集，但是信息本身相对稳定，用于支持管理决策过程.

: 是用于存储数据仓库的逻辑概念. 通过软件实现. 由许多表组成，这些表是二维的，一个表可以具有许多字段. 将这些字段对齐，并将相应的数据逐行写入表中. 表能够表达二维的多维关系. 当前，市场上流行的是二维. 例如: Oracle，DB2，MySQL数据仓库，Sybase，MS SQL Server等.

业务中的数据结构旨在完成交易，而不是为了方便查询和分析.

大多数业务都针对读写进行了优化，也就是说，需要对其进行读取（检查产品信息）和写入（生成订单并完成付款）.

数据仓库: 这是概念的升级. 从逻辑角度来看，和数据仓库之间没有区别. 两者都是通过软件存储数据的地方. 但是，就数据量而言，数据仓库比大得多. 数据仓库主要用于数据挖掘和数据分析，以协助领导者做出决策.

根据分析要求，分析维度和分析指标设计数据仓库的表结构.

摘要

更受欢迎: MySQL，Oracle，SqlServer等.

数据仓库更受欢迎: AWS Redshift，Greenplum，Hive等.

和数据仓库.png之间的区别

1. 数据分析，数据挖掘，人工智能，机器学习，风险控制，无人驾驶.

2. 数据操作和精确操作.

3. 广告是准确而智能的.

ODS层:

是临时存储层，它是接口数据的临时存储区域，为后续的数据处理做准备. 一般来说，ODS层的数据和源系统的数据是同构的，其主要目的是简化后续的数据处理. 就数据粒度而言，ODS层的数据粒度最好. ODS层的表通常包括两种类型，一种用于存储当前需要加载的数据，另一种用于存储处理后的历史数据. 为了节省空间，通常需要在存储3-6个月后清除历史数据. 但是，不同的项目应区别对待. 如果源系统中的数据量不大，则可以保留更长的时间，甚至可以保留整个数据量；

PDW层:

对于数据仓库层，PDW层中的数据应该是一致，准确和干净的数据，即从源系统数据中清理（除去杂质）后的数据. 该层的数据通常遵循的第三个范式数据仓库，其数据粒度通常与ODS相同. 在PDW层中，将保存BI系统中的所有历史数据，例如10年的数据.

DM层:

是数据集市层，该数据层面向主题来组织数据，通常是星型或雪花型结构数据. 就数据粒度而言，此数据层是轻度汇总的数据，并且不再有详细的数据. 从数据的时间跨度来看，它通常是PDW层的一部分. 主要目的是满足用户分析的需求. 从分析的角度来看，用户通常只需要分析最近几年（例如最近三年的数据）即可. 从数据的广度来看，它仍然涵盖所有业务数据.

APP层:

是应用程序层. 这层数据完全是为满足特定的分析需求而构造的，它也是星形或雪花形结构的数据. 就数据粒度而言，它是高度聚合的数据. 就数据的广度而言，它不一定涵盖所有业务数据，而是DM层数据的真实子集，从某种意义上说，它是DM层数据的重复. 在极端情况下，可以在APP层为每个报告构建一个模型，以支持更改时间的目的. 数据仓库的标准分层只是推荐的标准. 在实际实现中，需要根据实际情况确定数据. 在仓库分层中，不同类型的数据也可能采用不同的分层方法.

数据仓库架构图.png

数据仓库技术是各种技术和模块的总称，可以有效地将操作数据集成到统一环境中，以提供决策数据访问权限. 我们所做的一切都是为了使用户能够更快，更方便地查询所需的信息并提供决策支持.

从功能结构上划分，数据仓库系统至少应包括三个关键部分: 数据采集，数据存储和数据访问.

在国内最好的互联网公司（例如Ali和腾讯）中，许多数据引擎都是建立在数据仓库上的（例如数据分析引擎，数据挖掘引擎，推荐引擎，可视化引擎等）.

主题是我们要分析的特定方面. 例如: 某年某月某地区某型号某某应用的安装情况. 主题包含两个元素: 一个是每个分析角度（维度），例如时间位置；另一个是每个分析角度（维度）. 另一个是要分析的特定度量，通常反映在数值中，例如应用程序安装的数量.

维度用于从不同角度描述事物的特征. 通常，有多个级别（Level），每个级别包含一些共有或唯一的属性.

以时间维度为例. 时间维度通常包含年，季度，月和日的级别. 每个级别通常具有公共属性，例如ID，NAME和DESCRIPTION. 这些公共属性不仅适用于时间维度，还可以体现在其他不同类型的维度中.

OLAP必须基于分层的自上而下的钻取或自下而上的聚合. 因此，我们通常会再次基于维度进行分层. 维度，层次和层次之间的关系如下:

Layered.png

每个级别可能有一个附属关系（例如一个城市属于一个省，一个省属于一个国家），或者可能是一个顺序关系（例如一个周年纪念日）.

指标是我们要分析的特定技术指标，例如年销售额. 它们通常是数字数据. 我们要么汇总数据，要么取次数，独立时间，要么取数据的最大值和最小值. 这样的数据称为度量.

事实表用于记录有关分析内容的全部信息，包括每个事件的特定元素和发生的事情. 事实表存储数字ID和指标信息.

维度表是事实表中事件元素的描述信息. 从这个角度观察交易，从哪个角度观察交易内容.

事实表和维度表通过ID相关联，如图所示:

事实表和尺寸表.png

企业级数据仓库: 突出大而完整的数据，无论是详细数据还是聚合数据，都具备，并且在设计中使用了事实星座模型.

数据集市: 可以将其视为企业级数据仓库的子集. 它是为数据的某些方面而设计的数据仓库，例如为公司的支付业务设计单独的数据集市. 由于数据集市不执行企业级的设计和规划，因此从长远来看，其集成将极其复杂. 有两种数据源，一种是直接从本机数据源获得的，另一种是从企业数据仓库获得的.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-288146-1.html