数据仓库与元数据管理标准化

1.前言

在事务处理系统中的数据，主要用于记录和查询业务情况。随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。

2. 元数据

按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（TechnicalMetadata）和业务元数据（Business Metadata）。

技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：

业务概念模型和物理数据之间的依赖：以上提到的业务元数据只是表示出了数据的业务视图，这些业务视图与实际的数据仓库或、多维中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。

3. 元数据的作用

(1) 元数据是进行数据集成所必需的

1、在对某些可增量更新的数据源进行初始化时，系统对在初始化期间新产生的数据（指源系统中新增加的数 据）进行忽略，即在以后的增量更新中不再提取，系统以截至到初始化结束的时间为准，所以初始化时应选择源系统数据不发生更新时进行，但后来发现并非所有数 据源都有这种情况，有的增量更新也是可以再次抽取上来的，不过还是建议初始化数据源应尽量选择在晚上进行。另一方面借助bw系统高质量、高集成的信息分析平台，对经营数据进行深层次的挖掘分析，及时完成对各种业务经营数据的抽取、分析和展现，为经营决策提供强有力的数据支撑。他们俩没有任何关系，rsa3就是预提取数据，测试一下，看看数据源是否有数据而已，而setup表相当于一个副仓库，把数据源里现有的数据复制过来一份保存，等待bw端分批次全量抽取，lo后勤数据源的初始化抽取与全量抽取就是从setuptable里初始的。

(2) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据

最终用户不可能象数据仓库系统管理员或开发人员那样熟悉技术，因此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用户理解和使用数据。

(3) 元数据是保证数据质量的关键

他们俩没有任何关系，rsa3就是预提取数据，测试一下，看看数据源是否有数据而已，而setup表相当于一个副仓库元数据标准化基本原则，把数据源里现有的数据复制过来一份保存，等待bw端分批次全量抽取，lo后勤数据源的初始化抽取与全量抽取就是从setuptable里初始的。当数据量特别庞大时，可以采用此模式进行分段和分批抽取数据，并且标记之后就可以做增量了，对增量数据的抽取和对打标记以前数据的抽取可以同时进行，互不干扰。 plantdata可为行业客户提供知识图谱解决方案：包括互联网文本采集、抽取与分析，多源异构数据整合、加工与挖掘，大数据存储以及行业知识图谱套件等数据底层构建和分析服务。

(4) 元数据可以支持需求变化

随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性。

4. 元数据的标准化

关于元数据的一般标准，从内容上，大致可分为两类。一是元数据建模，是对将来元数据的组织进行规范定义，使得在元数据建模的标准制定之后产生的元数据都以一致的方式组织，从而保证元数据管理的一致性和简单性。二是元数据交互，是对已有的元数据组织方式以及相互间交互格式加以规范定义，从而实现不同系统元数据的交互。目前，主要有以下组织定义了元数据相关的规范。

(1) 对象管理组织OMG

OMG在1995年采用了MOF（Meta Object Facility），并不断完善之。1997年采用了UML，2000年，OMG又采用了CWM。这三个标准：UML、MOF和CWM形成了OMG建模和元数据管理、交换结构的基础，推动了元数据标准化的快速发展。

(2) 元数据联合会MDC

MDC建于1995年，目的是提供标准化的元数据交互。MDC于1996年开发了MDIS（Meta DataInterchange Specification）并完成了MDC－OIM的技术评审，MDC－OIM基于微软的开放信息模型OIM，是一个独立于技术的、以厂商为核心的信息模型。OIM是微软的元数据管理产品MicrosoftRepository的一部分。由微软和其它20多家公司共同开发的，作为微软开放过程的一部分，经过了300多个公司的评审。

为了推动元数据标准化的发展，MDC和OMG在元数据标准的制定上协同工作。1999年4月，MDC成为OMG的成员，而OMG也同时成为MDC的成员。MDC中使用了OMG的UML元数据标准化基本原则，而MDC－OIM中的数据仓库部分被用来作为OMG的公共仓库元数据交互（CWMI：CommonWarehouse Metadata Interchange）的设计参考。在两个组织的技术力量的合作努力下，元数据标准将逐步一致化。公共仓库元模型(CWM)是为数据仓库和业务分析环境之间方便地交换元数据而制定的一个标准，已经成为模型驱动体系结构(MDA)新策略方向中的核心组成部分。下面我们讲重点讲述CWMI机器在数据仓库中的应用。

5. CWM提出的背景

为此，从2.2版开始，s1000d规范设计了一种业务规则交换机制，即：brex（businessrules exchange）数据模块，用于在项目范围内交换和共享项目特定的业务规则。2014年12月开始的cnonix标准应用示范项目，已初步完成出版发行数据的“小循环”实验，完成第三方数据共享交换实验平台建设，在20多家出版发行单位之间实现了数据的交换与共享，自2016年春节以来，近6万条书目数据、超过1千万条发行业务数据实现了跨地区、跨企业交换，初步探索了行业级数据共享与交换的机制。ieee最近批准802.1p作为802.1d连网标准修正的一部分,使局域网交换在向同时支持声音、图像和数据方面又迈进了一步.802.1p规范使第2层交换具有以优先级区分信息流的能力,完成动态多波过滤.这对于提高局域网的性能非常有价值,但优先功能可望有更直接的影响.优先化规范工作在开放系统互连模型的介质访问控制(mac)成帧层.为了符合802.1p规范,第2层交换机必须能将进入局域网的分组分成不同的信息流类别.802.1p可以定义八级不同的类别.虽然网络管理员决定实际的交换,但ieee提供了广泛的推荐.第七级具有最高的优先权,它可以进入网络关键通,如路由信息协议和开放的最短路径优先表更新.第五与第六级可以用于延迟敏感的应用,如交互视频图像和声音。

6. OMG组织的CWM模型

然后我们就在windows7里的库中，新建一个库，改名为“网上邻居”（如图3中的1所示），再打开“网上邻居”的库的属性（如图3中的4所示），把刚才建立在f盘中的网上邻居的快捷方式包含进来，确定就可以了。 （七）为什么同一个梁式筏板基础，采用梁元法计算和采用板元法计算二者之间会相差较 大 工程实例：某工程采用梁式筏板基础，基础布置如图 1 所示（图略），基床反力系数均取 20000kn/m3，计算结果如图 2 所示：（图略） 通过图 2 所示的结果可知， 两种计算模式所产生的计算结果存在一定的差异。4.1实验测试中的关键代码与各模块测试结果的分析与说明1 创建一个弹出式主菜单下面代码是其设计界面的代码. 文本框1是界面代码, 文本框2是获取键盘方向代码.效果如图2所示:文本框1文本框2图2图32 实现光标的上移和下移,其代码文本框3所示, 其效果,请对比图2和图3.文本框33 在循环链表里输入数据,其实现代码如文本框4所示,效果如图4所示.文本框4图44 进入约瑟夫环问题的数据处理.其实现代码如文本框5所示,效果如图5所示:文本框5图53 查看已储存的数据.其代码如文本框6所示,其效果如图6所示:文本框6图63 查看约瑟夫环问题的内容:其效果如图7所示:图74.2试验过程中所遇到的问题分析与解决问题一:在创建弹出式菜单时,光标的上移和下移,无法实现.解决方案:将弹出式菜单的教程重新看了一遍,里面的光标上移和下移,都是通过各个坐标来实现的,例如window 3,3,29,9 。

图1 OMG的元数据仓储体系结构

CWM为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关于语法和语义的规范。它主要包含以下四个方面的规范：

(1) CWM元模型（Metamodel）：描述数据仓库系统的模型；

(2) CWM XML：CWM元模型的XML表示；

(3) CWM DTD：DW/BI共享元数据的交换格式

(4) CWM IDL：DW/BI共享元数据的应用程序访问接口（API）

本章要进行式验研究的钢丝绳悸联轴器主要由内套、外套和六个钢丝绳弹性元件构件相连接组成，结构简图如图2-1所示，其中钢丝绳弹性元件构件如图2-2所示，它由绞合的不锈钢钢丝绳绕成的椭圆形正反向螺旋钢丝绳圈和上下夹持板组成，椭圆形螺旋形螺旋式钢丝绳绳圈之间的螺距相等。 （七）为什么同一个梁式筏板基础，采用梁元法计算和采用板元法计算二者之间会相差较 大 工程实例：某工程采用梁式筏板基础，基础布置如图 1 所示（图略），基床反力系数均取 20000kn/m3，计算结果如图 2 所示：（图略） 通过图 2 所示的结果可知， 两种计算模式所产生的计算结果存在一定的差异。2片状珠光体由片层相间的铁素体和渗碳体片组成其如图6-2所示组织照片如图6-3所示。

图2 CWM元模型的包结构

设备i／o包中的程序需要使用设备dev包中的程序，而设备dev包中的程序需要调用ecos的硬件抽象层包中的底层接口函数，如图3所示。 如图 所示， oracle exalytics 内存分析一体机的产品架构包括 3 个部分： 内容分析 硬件、内存分析软件和经过优化的 oracle 商务智能基础套件（oracle bi。因为其径向光辐射的各向同性，故对其中某一径向面进行分析即可，如图3-5中 2 所示将以径向方向进行微分，为了将均相体系的模型引入到非均相体系中，将混浆溶液中的甲基橙溶液对紫外光的吸收等量到一定量的tio2催化剂，这样就可以将径向分成若干层同性的催化剂层如图3-5中 3〔 所示，每一催化剂层的厚度为p25的二次粒径为210nm，这样光线辐射经过每一层的催化剂的吸收和反射、穿透，形成了反应器光强的径向分布。

基础包主要定义了为CWM其它包所共享的一些基本概念和结构，它包含的子包有：

资源包主要定义了一些描述常用的数据源/目标的元模型，它包含的子包有：

分析包主要定义了一些描述数据仓库工具的元模型，它包含的子包有：

管理包主要定义了一些描述数据仓库运行和调度信息的元模型，它包含的子包有：

7. CWM的特点

通过对CWM组成结构的介绍，可以看出CWM具有以下特点：

8. CWM的应用

CWM主要面向以下几类用户：

例如，在企业数据仓库体系结构中，ETL组件是构建数据仓库一个非常重要的部分，它将数据从外部系统提取出来，排除噪声，去掉冗余，并进行转换、聚集、重构，以利于用户使用和理解的方式存储到数据仓库中，其主要目的有两个：改进数据仓库中数据的质量和提高数据的可用性。ETL过程的工作量比较大，可以占到数据仓库开发工作的80%左右，其过程设计和执行情况直接影响到数据仓库中数据的质量和用户的使用，所以应该予以足够的重视。ETL过程主要包括以下一些步骤：

使用高效的转换工具，多考虑使用流式转换工具，少用树形的转换工具。●使用高效的转换工具，多考虑使用流式转换工具，少用树形的转换工具。 正确错误 正确答案: 错 判断题 55.case（computer aided software engineering） 工具实际上把原先由手工完成的开发过程转变为以自动化工具和支撑环境支持的自动化开发过程。

ETL组件的CWM元模型主要定义了以下三组类：黑盒变换、白盒变换和变换的执行顺序。黑盒变换元模型在比较粗的粒度上（也就是数据源的级别）描述变换，包括以下一些类和接口：

白盒变换在比较细的粒度上描述变换（也就是数据源的属性的级别），主要包括以下一些类和接口：

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-109674-1.html