元数据管理模块解决方案

目录1.状态分析1 1.1当前的困境2 1.2什么是元数据管理2 2.目标分析3 2.1建立完善的指标解释系统3 2.2建立标准化的元数据管理系统3 2.3建立有效的数据审核系统4 3.功能概述4 3.1元数据管理4 3.1.1业务元数据4 3.2.2技术元数据5 3.3元数据分析7 3.3.1谱系分析8 3.3.2影响分析8 3.3.3重要性分析8 3.3.4独立性分析8 3.4数据审核9 3.4.1审核规则管理9 3.4.2审核任务计划9 3.4.3审核结果分析10 3.4.4数据质量评估10 3.4.5数据问题管理10元数据管理系统概述1.状态分析业务分析系统不断扩展，系统所累积的数据量也在增加. 收集的海量数据隐藏了许多宝贵的重要信息，但也增加了系统数据管理的难度: 一方面，难以有效地解释这些数据，而且缺乏实时监控和业务流程执行的管理；另一方面，各个部门中数据和数据集成的难度也在增加，影响了业务分析系统中数据的质量. 如何深入挖掘现有数据并揭示隐藏在元数据中的核心信息，例如趋势，因果关系和关联模式？这是电信运营商下一步深化业务分析系统应用的重中之重.

构建BI，首先要确保的是数据质量. 元数据管理解决的问题是如何管理业务系统中不同类别的数据，以及如何建立数据与数据之间的关系，从而为监控数据仓库的数据质量提供基础资料. 1.1当前陷入困境的用户（决策制定层，业务分析师）: 1）业务分析系统中的报告很多，不同的报告中有一些相同的指标. 这些指标通常不一致，从而导致业务分析和决策过程中出现很多混乱. 检查和验证需要很多工作. 2）对于许多指标，尚不清楚其具体含义，所反映的问题以及其具体算法和上下文. 数据仓库项目开发和维护人员: 1）不同报表中的相同指标不一致，必须花费大量精力进行检查. 目前，基本上通过手动检查表和存储过程，效率很低. 2）没有完善的开发和维护规范. 例如，添加了新的分析报告. 开发人员根据业务人员的需求完成生产后，往往无法组织和完善相应的数据索引解释和元数据管理，给以后的检查带来困难. 3）开发和维护规范的执行率很低，没有有效的控制方法. 没有严格按照规范执行. 随着项目的发展和时间的流逝，数据仓库项目的健壮性和可维护性呈几何级数下降，这给数据仓库的建设带来了很多重复的工作. 1.2什么是元数据管理元数据的最基本和抽象的定义是: 关于数据的数据（关于数据的数据）.

对于业务分析数据仓库，图像定义为: 元数据是数据仓库的规范. 这些规范包括各种指标的定义和解释；包括每个表中数据的来龙去脉的定义，数据的大小和格式. 元数据管理是建立一套有效的规范以及规范的管理和控制系统，以实现从管理到查询到综合分析的全面管理和控制元数据管理，从界面到ETL处理，业务逻辑处理，结果显示处理的管理层次和指标分析的各个方面构成了数据仓库应用系统的核心和基础. 这样开发人员可以严格遵守规范，维护人员和用户都有要检查的规范，并有效保证数据仓库项目的健壮性和可维护性. 2.客观分析需要摆脱当前的困境，亟待解决以下三个问题: 2.1建立全面的指标解释系统，满足用户对业务和数据理解的需求，并建立标准的信息承载平台内部知识转移，建立业务分析知识库，实现知识共享. 能够回答以下问题: 计费用户数是多少？用户数和用户数有什么区别？包装的生命周期是多少？竞争对手的新用户数量是怎么来的？该数据的名称是什么？ …………2.2建立标准化的元数据管理系统，使用户可以清楚地了解数据仓库中数据流的来龙去脉，业务处理规则，开发等，提高系统的可维护性，适应性和集成性，以及支持数据仓库/市场的增长需求，以减少员工流失带来的影响.

具体来说，它主要是关于数据仓库建设，运营和维护的标准化管理. 可以回答以下问题: 从业务系统中提取原始账单表是哪个？从哪个表中计算新开发的竞争对手用户的事实表中的数据？谁在DW用户下编写了存储过程P_XXX，它仍然有用吗？我是新手，想生成软件包生命周期演变分析的事实表. 我该怎么办？表空间不足，可以删除哪些表数据？ ............ 2.3建立有效的数据审计体系促进数据仓库的数据质量建设，为提高整个系统的数据质量打下坚实的基础. 建立警报和监视机制，以在发生故障时发现问题. 提供整个系统运行的分析. 可以回答以下问题: 今天，计费用户数量太多，怎么回事？数据集市的DM_XXX表中的数据为空. 是什么原因？为什么报表A中全省的ARPU值与报表B中的ARPU值不同？ …………3.功能概述3.1元数据管理数据仓库的层次结构，主题区域的划分以及每一层的各种对象的管理，例如表，存储过程，索引，数据链接，功能，和包裹. 它可以清楚地显示各种层次结构之间的数据流，以图形方式显示对象之间的关系，并显示表中数据的来龙去脉. 3.1.1业务元数据业务元数据包括以下信息: 用户业务术语表示的数据模型，对象名称和属性名称；访问数据的原理和数据源；系统提供的分析方法和公式以及报告信息.

除了上述信息的管理外，业务元数据管理还提供了针对业务元数据源的管理和差异比较功能，以便用户可以轻松地查询，比较和追溯. 包括两个子模块: 指标管理和指标解释界面. 索引管理: 主要实现所有索引的维护功能，维护索引的基本信息，业务规则和技术算法等. 它可以在分析各种主题时显示指标，以及指标与其他信息之间的差异. 指标解释界面: 提供一个统一的界面，使用户可以单击业务分析系统或CRM系统中的任何指标名称，以查看指标的详细说明和解释. 3.2.2技术元数据技术元数据是存储有关数据仓库系统的技术细节的数据，用于开发和管理数据仓库数据. 它主要包括对数据仓库结构的描述（各种主题的定义，星型模式或雪花类型），模型的描述和定义等），ODS层的企业数据模型的描述（运营数据存储ODS）操作数据存储）（以描述关系表及其关联关系的形式），数据审核规则的定义，数据集市的定义和描述负载描述（包括多维数据集的多维数据集维度，级别，度量和提取规则）相应的事实表和摘要表）. 除了维护技术人员数据的基本信息外，该系统还以图形方式显示和管理技术元数据的关系和来源. 技术元数据管理主要包括以下功能模块: 元数据查询: 按关键字，类别，主题域名等维度查询，显示元数据的基本信息，如业务描述，技术描述，度量单位和分类等信息

元数据维护: 维护元数据的基本信息，包括添加，删除和修改. 元数据关系查询: 显示元数据之间的关系，例如: 根据业务分析数据仓库的各个级别；根据元数据之间的映射关系；根据元数据处理过程等等. 元数据关系管理: 维护元数据关系，包括添加，删除和修改. 如上图所示，右键单击一个节点以添加，删除或修改该节点. 3.3元数据分析沿袭分析，影响分析，表重要性分析，表不相关性分析等. 通过上述分析，用户可以对整个数据仓库有清晰的了解和理解，并解决数据孤岛的问题. 3.3.1谱系分析数据谱系-数据谱系通过数据谱系分析，用户可以知道何时更新数据，如何计算以及它来自何处，所有这些手段都可以帮助用户跟踪报表中生成的数据源. 深入挖掘数据上下文的能力对于帮助用户更加信任自己的信息至关重要. 3.3.2影响分析影响分析专注于数据流，提供端到端影响分析，以便您可以在源系统发生更改时查看BI报表的影响，从而可以轻松处理BI环境中的更改. 前端显示特殊分析模块的目标元数据对象3.3.3重要性分析和分析在BI系统中，用户最关注的分析主题，报告和指标会追溯与这些分析主题相关的元数据元数据管理，报告和指标. 这对于BI系统而言，数据仓库开发团队具有重要的指导意义.

分析各种元数据对象之间的关联密度，分析数据仓库中各个级别的包，表和其他对象的重要性，并指导数据仓库开发和维护团队关注和监视关键元数据. 3.3.4独立性分析与重要性分析相反. 随着数据仓库系统规模的不断扩大和业务需求的日新月异，将生成一定数量的不相关数据，信息和报告. 找出这些不相关的内容，并将其与业务需求结合起来. 分析其根本原因，从而简化了用户的工作量，降低了项目拥有的总成本，并为用户提供了可靠的数据和分析功能. 3.4数据审核根据预先配置的规则，算法和质量检查指标，从多个角度检查数据的准确性和合理性，及时发现并解决问题. 对于审计结果，进行统计分析并形成结果报告，为改善未来数据仓库的建设，实施和维护打下坚实的基础. 3.4.1审核规则的管理接口数据检查: 要审核和验证接口数据的过程，它分为文件接口，DB-LINK接口和其他异构接口. 处理过程检查: 监视和审核数据处理过程，分为JOB审核，工作流审核和其他处理方法审核等. 处理环境检查: 检查数据处理环境. 对于不同的应用程序环境，它主要分为系统检查，主机系统检查，接口机检查和应用程序服务器检查. 日志监视: ETL自动运行期间可能会发生各种错误，例如ETL进程请求的资源超出了硬件的物理限制（存储空间不足或排序空间不足）.

您可以通过检查ETL进程的日志来判断该进程输出的目标表数据是否完整. 提供用于选择日志监视的各种信息，例如: 流程名称，所属模块（业务数据，开票数据，维度表数据等），执行时间，完成时间，执行时间，执行用户，执行结果，预警等维度检查: 例如: 模块（业务数据，账单数据，维度表数据等），日期，表名称，维度名称，纬度格式，纬度描述，纬度相关编码表，每个纬度记录的分布，是否有空值，空值记录数，空值率，预警间隔等指标. 指标值检查: 包括数据量验证，单指标验证，交叉验证等. 3.4.2审核任务的计划设置数据审核模板后，可以自动处理审核任务，也可以通过定制方法完成审核任务. 被定期调用或触发. 由不同类型的数据检查确定. 例如: 预订数据（计费营地数据），您可以使用计划任务检查数据完整性，并且可以通过记录触发触发订购数据（DW层数据直至数据集市显示层摘要数据）调用，每个日志记录完成后，如果正确执行了日志测试，则将执行进一步的数据审计测试. 3.4.3审计结果分析对于审计结果，请执行统计分析以回答经典的“ 4W”问题: 报告是否异常，报告在何处发生，报告何时在异常情况下发生以及报告为何在异常情况下发生？ 3.4.4数据质量评估对数据审计结果和结果原因进行统计分析，以及对数据仓库维护和管理的质量进行评估，对于数据仓库的开发和维护具有重要的指导意义. 3.4.5数据问题管理收集并组织系统用户或数据仓库开发人员遇到的问题和解决方案，以形成知识库，以方便用户咨询，并提高开发团队的效率并避免大量重复工作. >

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-249617-1.html