详细说明数据仓库和之间的区别

电脑杂谈  发布时间:2020-07-26 04:02:14  来源:网络整理

数据仓库_大数据 数据真实性_万方数据石家庄数据员

什么是数据仓库?

数据仓库,可以缩写为DW或DWH,用于企业各个级别的决策和计划过程,并提供所有类型数据类型的战略收集. 它是为分析报告和决策支持目的而创建的. 对于需要商业智能的公司,需要指导业务流程改进,监视时间,成本,质量和控制等;

数据仓库可以做什么? (举几个栗子)

制定年度销售目标需要根据过去的历史报告做出决策,并且不能随意设定. 优化业务流程

例如: 对于电子商务平台上某个品牌的手机,在过去5年中,主要购买者的年龄段和该季节的购买次数,以便可以将其设置为基于此特征的目标群体动态分配产生的主要需求和生产量以及仓库库存.

数据仓库的特征

数据仓库是面向主题的.

大数据 数据真实性_万方数据石家庄数据员_数据仓库

与传统不同,数据仓库是面向主题的,那么什么是主题?主页主题是一个较高阶的概念,它是企业信息系统中更高级别的数据集成,分类和分析的对象. 从逻辑上讲,他是企业中某个宏观分析领域中涉及的分析对象. (谈到人: 这是用户在使用数据仓库进行决策时关心的关键方面. 一个主题通常与多个操作信息系统相关,而操作的数据组织则面向事务处理任务,而每个任务彼此隔离. );数据仓库已集成.

数据仓库中的数据是从原始分散的数据(如mysql之类的关系)中提取的. 运营与DSS(决策支持系统)分析完全不同. 首先,与数据仓库的每个主题相对应的源数据在所有分散的中都有很多重复和差异,并且来自不同系统的数据与不同的应用程序逻辑捆绑在一起. 其次,不能直接从原始系统中获取数据仓库中的综合数据. 因此,在数据进入数据仓库之前,必须对其进行统一和集成. 此步骤是数据仓库构建中最关键,最复杂的步骤. 要挖掘的工作是:

计算源数据中的所有矛盾,例如同一个名称异议,具有相同含义的不同名称,不同的单位和不同的字长. 执行数据集成和计算. 从原始中提取数据时可以生成数据仓库中的数据集成工作,但是许多数据集成工作是在数据仓库内部生成的,即进入数据仓库后进行集成. 数据仓库中的数据随时间变化.

数据仓库中的不可更新数据用于应用程序,即数据仓库的用户不执行数据更新操作以进行分析和处理. 但这并不是说,从开始将数据集成到数据仓库到最终删除的整个生命周期中,所有数据仓库数据都不会改变. 数据仓库中的数据随时间而变化,这是数据仓库的特征之一. 此功能主要具有以下三个表现:

随着时间的推移,数据仓库将继续添加新的数据内容. 数据仓库系统必须不断捕获OLTP中已更改的数据并将其附加到数据仓库中,即不断生成OLTP的快照,并通过统一集成将其添加到数据仓库中. 但是对于未更改的快照,如果捕获了新的更改数据,则将仅生成并添加新的快照,并且不会修改原始快照. 随着时间的变化,将继续删除旧的数据内容. 数据仓库中的数据也有一个存储期. 一旦超过此期限,过期的数据将被删除. 只是中的数据时间限制比操作环境中的数据时间限制长得多. 通常,在操作环境中仅存储60到90天的数据,而需要将较长时间段(例如5到10年)的数据存储在数据仓库中以满足DSS进行趋势分析的要求. 数据仓库包含大量的综合数据,其中许多与时间有关. 例如,通常根据时间段对数据进行整合,或在某些时间段对数据进行采样. 这些数据应随着时间的变化而不断地重新整合. 因此,数据仓库的数据特征包括指示数据历史周期的时间项. 数据仓库中的数据无法修改.

数据仓库中的数据主要用于企业决策分析. 涉及的数据操作主要是数据查询,通常不执行修改操作. 数据仓库中的数据反映了长期历史数据的内容,不同时间点的快照的集合以及基于这些快照的导出数据以进行统计,综合和重组,而不是处理数据. 中的图书库已集成并输入到数据仓库中. 一旦存储在数据仓库中的数据超过了数据仓库的数据存储期限,这些数据将从当前数据仓库中删除. 因为数据仓库仅执行数据查询操作,所以数据仓库中的系统比中的系统简单得多. 管理系统中的许多技术难题,例如完整性保护,并发控制等,几乎可以在数据仓库的管理中消除. 但是,由于数据仓库中的查询数据量通常很大,因此对数据查询提出了更高的要求. 他要求使用各种复杂的索引技术. 同时数据仓库,数据仓库供商业企业的高级管理人员使用. 数据查询和数据表示的用户友好性提出了更高的要求;在我们想了解差异之前,我们需要了解三个概念数据仓库,什么是软件,和数据仓库?

软件: 是一种软件(不是链接到的图形客户端). 用于实现逻辑过程,属于物理层. : 是一个逻辑概念,用于存储数据仓库,由软件实现. 该包含许多表. 这些表是二维的,并且表中有许多字段. 字段对齐,并将数据逐行写入表中. 表能够表达二维的多维关系. 例如: oracle,DB2,MySQL,Sybase,MSSQL Server等. 数据仓库: 它是概念的升级. 从逻辑角度来看,和数据仓库之间没有区别. 两者都是通过软件存储数据的地方,但是就数据量而言,数据仓库要比大得多. 数据仓库主要用于数据挖掘和数据分析,以帮助领导者做出决策;在IT体系结构系统中,必须存在并且必须有一个存储数据的地方. 例如,购物和其他电子商务公司. 库存数量,价格,用户帐户余额等. 这些数据存储在后端中. 或最简单的了解,就是我们当前的微信,微博和QQ帐户和密码. 后台的必须是用户表. 是否至少有两个字段,即用户名和密码,然后我们的数据逐行存储在表中. 登录时,我们填写用户名和密码,这些数据将被发送回工作站以匹配表上的数据. 如果匹配成功,则可以登录. 如果匹配失败,将报告错误. 这是,用于在生产环境中工作. 我们将用于所有与业务相关的应用程序. 数据仓库是BI下的技术之一. 因为链接到业务应用程序,所以不可能保存公司的所有数据. 表设计通常是为特定应用程序设计的. 例如,在刚才的登录功能中,此用户表上只有这两个字段,而没有其他字段. 当时,该表与之相符,没有问题,但该表不符合分析要求. 例如,我想知道在哪个时间段用户数最多?哪个用户一年购买最多?这样的指标. 有必要重新设计的表结构. 对于数据分析和数据挖掘,我们介绍了数据仓库的概念. 数据仓库的表结构是根据分析要求,分析维度和分析指标设计的. 和数据仓库之间的差异实际上就是OLTP和OLAP之间的差异.

大数据 数据真实性_数据仓库_万方数据石家庄数据员

称为OLTP(事务处理)的操作处理也可以称为面向事务的处理系统. 它是中特定业务的日常操作,通常查询和修改一些记录. 用户更加关注操作响应时间,数据安全性,完整性以及并发支持用户的数量. 传统的系统作为数据管理的主要手段,主要用于业务处理. 分析处理称为分析处理(OLAP),通常分析某些主题的历史数据以支持管理决策. 运算处理分析处理

详细

全面或精致

实体关系(E-R)模型

星型或雪花型

存储即时数据

存储历史数据,不包括最近的数据

万方数据石家庄数据员_数据仓库_大数据 数据真实性

可更新

只读,仅追加

一次操作一个单元

一次操作一个收藏集

高性能要求和短响应时间

宽松的性能要求

面向交易

大数据 数据真实性_数据仓库_万方数据石家庄数据员

面向分析

一次操作的数据量很小

支持决策需求

小数据量

大量数据

客户订单,库存水平和银行帐户查询

客户利益分析,市场细分

1. 如果您有任何错误,请指出,我会及时纠正. 如果您听不懂,可以留言,提问和交流想法.

2. 也许每个人都认为这没什么,但是我会认真对待它,并把它当作我的笔记,经验,以便我自己提高自己.

欢迎来到我的csdn博客


本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/jisuanjixue/article-288145-1.html

    相关阅读
      发表评论  请自觉遵守互联网相关的政策法规,严禁发布、暴力、反动的言论

      热点图片
      拼命载入中...