从素养到Hive，HBase，Kafka，Flink等的Atlas（元数据管理）

企业数据管理的内容和范围通常包括交易数据元数据管理，主数据和元数据.

（1）交易数据: 用于记录业务事件，例如客户订单，投诉记录，客户服务应用程序等. 它通常用于描述业务系统在特定时间点的行为.

（2）主数据: 主数据定义企业的核心业务对象，例如客户，产品，地址等. 与交易管道信息不同，一旦将主数据记录在中，就需要经常维护确保其及时性和准确性；主数据还包括描述主数据之间关系的关系数据，例如客户与产品之间的关系，产品与区域之间的关系，客户与客户之间的关系，产品与产品之间的关系等.

（3）元数据: 关于数据的数据，用于描述数据及其环境的结构化信息，方便查找，理解，使用和管理数据.

我们前面解释的技术和平台都在解决主数据和事务数据收集，处理，存储和计算的问题. 但是面对大量且不断增加的数据，您一定想知道数据来自何处以及随着时间如何变化？采用Hadoop必须考虑数据管理的实际情况，元数据和数据治理已成为企业级数据湖的重要组成部分.

所谓的元数据管理实际上有两个共同点:

（1）收集和控制每个组件的元数据（通常是存储空间）

（2）使用这些收集的元数据来实现各种高层应用程序，以满足各种数据治理方案（阵列资产目录，数据分类，搜索和血缘关系等）

Apache Atlas是由Hadoop社区生成的一个开源项目，用于解决Hadoop生态系统的元数据管理问题. 它为Hadoop集群提供元数据，包括数据分类，集中式策略引擎，数据沿袭，安全性和生命周期管理. 数据治理的核心能力. 它可以帮助企业建立数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队提供围绕这些数据资产的协作功能.

Atlas不致力于管理共享元数据，数据分级，审计元数据管理，安全性和数据保护. 同时，它努力与Apache Ranger集成以实现数据权限控制策略.

Apache Atlas是hadoop的数据治理和元数据框架，它提供了可扩展和可扩展的核心基本数据治理服务集，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成.

Atlas是可扩展且功能丰富的数据管理系统，可深度集成Hadoop大数据组件. 简单理解就是与Hadoop密切相关的系统，可用于元数据管理. 整个结构如下所示:

如果不存在则创建foo;

Hive在启动Atlas之前已经运行了很长时间，因此历史元数据无法触发挂接，因此需要工具来进行初始导入.

Apache Atlas提供了一个命令行脚本import-hive.sh，用于将Apache Hive和表元数据导入Apache Atlas. 该脚本可用于使用Apache Hive中的/表初始化Apache Atlas. 该脚本支持导入特定表，特定中的表或所有和表的元数据.

导入工具调用相应的网桥: org.apache.atlas.hive.bridge.HiveMetaStoreBridge执行导入脚本以查找已安装Atlas客户端的任何节点，执行以下命令:

注意: 请确保输入Atlas用户，因为Atlas的Linux管理帐户是atlas，其他帐户可能会在未经许可的情况下报告错误.

在执行脚本的过程中，将要求您输入Atlas管理员帐户/密码（admin / admin3），然后您将看到以下信息才能成功:

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-283256-1.html