数据仓库元数据管理系统

Longyuan Journal Net数据仓库元数据管理系统作者: 罗晓红来源: 《中国·讯坎》 2019年6月摘要: 本文首先介绍了元数据及其基本概念的作用，然后介绍了元数据系统该软件设计了体系结构，并说明了所使用的关键技术. 使用的关键技术包括: “血缘关系”，元数据提取，转换，加载以及SQL数据的埋葬和收集. 它实现了数据的界面显示，可以完成数据字典查询，表对象查询等，使用户可以轻松获取所需的数据，大大提高了开发效率. 关键字: 元数据；元数据系统；数据仓库配置单元；大数据摘要: 摘要: 本文首先介绍了元数据的基本概念和功能，然后设计了元数据系统的软件体系结构，并进行了介绍. 诸如“血液关系”，元数据提取，元数据转换，元数据加载以及SQL数据的嵌入和收集等关键技术，本文还实现了数据的界面显示，它可以完成数据字典查询，表对象查询，等，使用户可以轻松获得所需的数据元数据系统功能，大大提高了开发效率. 关键字: 元数据，元数据系统，数据仓库配置单元，大数据简介元数据是描述数据的数据，它是数据仓库建设中不可忽视的链接.

它的作用是管理数据，提高数据使用效率和数据管理效率，并实现准确有效的数据利用[1]. 由于数据的海量性质，数据管理需要供开发人员使用的可视界面. 为此，需要建立可视化的元数据原理系统，以帮助用户开发，维护元数据系统功能，使用和管理元数据. 元数据打开了数据源，数据仓库和数据应用程序，并记录了从生产到消费的完整数据链接. 元数据包括: 静态表，列和分区信息（即MetaStore）；动态任务，表依赖关系的映射关系；数据仓库模型定义，数据生命周期；和ETL任务计划信息，输入和输出元数据等是数据管理，数据内容和数据应用程序的基础. 例如，您可以使用元数据: 在任务，表，列和用户之间构造数据图；构造任务DAG依赖关系并安排任务执行顺序；制作任务画像并执行任务质量管理；在数据分析中使用数据图进行字典检索;根据表名，每个表的源和目的地，每个字段的处理逻辑，查看表的详细信息；提供个人或BU资产管理，计算资源消耗概述等. 当业务量不是很大时，相应的开发人员会更熟悉该业务. 查看元数据信息是通过访问元数据来完成的，但是如果不是人士（例如需要查看元数据信息的数据分析人员），则很难遇到困难，尤其是在业务数据继续扩展时. 甚至的开发人员想要随时获取所需的数据也不容易，因此元数据系统应运而生.

龙源期刊网1.软件体系结构设计元数据系统使用B / S（浏览器/服务器）体系结构. 访客可以通过浏览器访问网页，并通过页面操作与服务器进行交互. 前端技术基于Freemaker图形渲染框架. 基于jQuery框架的Javascript与服务器交互，服务器使用springboot和mybatis框架提高开发效率，并使用mysql存储配置单元元数据信息. ·DB保存任务的sql数据，任务的基本信息以及执行引擎上下文信息. Extract循环提取sql并将其解析为表和列级沿袭. 数据集包含沿袭关系数据+任务信息+引擎上下文. •将DataSet数据集保存到Neo4j，并提供关系查询；保存ES，提供​​表，字段和其他信息检索2.关键技术2.1血缘关系“表”是元数据系统的背景逻辑核心，数据仓库建立在Hive之上，而Hive元数据来自于生产系统，其结果的计算结果也可以导出到外部存储. Hive表，mysql表，hbase表和BI报告都是“表”，这些“表”之间的关系是DAG，这是血液关系.

2.2 SQL嵌入点，收集sql数据，主要是在执行+提交之前保存之前收集的. 因为任务的sql可能包含一些时间变量，例如dt，hour，所以该任务可能每天或每小时进行调度. 在执行过程中收集sql更加实时，更易于处理. EDW是一个任务调度系统，类似于开源AirFlow，该调度系统执行任务，并将与任务相关的信息（例如appId，jobId，所有者，sql和其他信息）存储到DB中. 计算引擎实现相关的接口，例如Hive实现Execute WithHookContext接口； Spark实现SparkListener接口； Presto实现EventListener接口. 在中存储与计算引擎相关的信息，例如上下文，元数据和统计信息. 以蜂巢为例，分析SQL解决方案. 首先定义词汇规则和语法规则文件，然后使用Antlr对sql进行词汇和语法分析，生成AST语法树，并遍历AST语法树以完成后续操作. 但是，对于诸如SELECT *，CTAS等操作，无法判断是否直接遍历AST而没有获得用于检查表和列名的Schema信息

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-239903-1.html