元数据管理

元数据管理

元数据战略应该与项目或产品战略同时进行，意味着越早越好。

我们在主数据管理术语中提到，元数据和主数据可以将你的BI占用空间减少80％吗？是的，它可以。例如，如果你制作一个仪表板/报告，并以这样的方式描述其元数据，以表达其中数据点和KPI的整个故事，那么下一个BI报告只有在早期的报告无法满足目的时才会生成。

一般而言，我们说元数据是关于数据的数据，但元数据超越了关于数据的数据。它可以告诉你业务需求，业务目标，业务KPI等信息。

我们都曾在学生时代或职业生涯中阅读过书籍。书籍的目录就是元数据，它指示哪一页包含哪个主题。书籍的致谢页也是元数据，它告诉读者有关书籍的整体背景、原因、议程等。元数据可以托管角色、授予、业务流程、条款和条件、数据点和仪表板和报告上的关键绩效指标（KPI），数据库、表、列和行的详细信息，表的定义，列的描述等。如果你的元数据没有就位，你就无法了解数据谱系。如果你的数据谱系没有就位，你的数据将变成数据沼泽，等等...再次强调，你是可以被替代的。现在是大数据和数据湖、社交媒体、半结构化和非结构化数据的时代。如果一个组织在建立数据湖时没有进行元数据管理，那么祝他们好运。

我认为组织也需要开始计划基于元数据构建BI解决方案，以支持日常业务。

元数据的类型：

Ø业务元数据：它包括关于解决方案实施的元数据，例如业务定义、描述、数据模型、数据质量规则、数据标准等。

Ø技术元数据：它包括有关解决方案中已实现内容的元数据，例如数据库/表/列名称、索引、访问权限、ETL作业详细信息、数据血缘文档等。

Ø操作元数据：它包括有关已实施解决方案的执行结果的元数据，例如执行日期、错误警报、作业持续时间等。

元数据的来源：

可以收集元数据的来源有很多，以下列出了一些。

Ø应用程序

Ø数据/业务术语表

Ø数据字典

Ø系统目录

Ø数据库管理目录

Ø报告工具（BI）

Ø配置工具

ØETL或集成工具

Ø数据映射表格

Ø数据质量工具

Ø活动管理工具

Ø数据建模工具

Ø参考数据

Ø服务注册表

Ø源列表

Ø接口详情

Ø代码集

Ø空间模式

Ø图形数据集

Ø等等

元数据架构组件：

Ø元模型：其概念与传统数据建模相同，首先可以创建高层次概念元模型以显示系统之间的连接，然后创建低层次元模型以显示属性、数据元素、过程等。

Ø元数据门户：这是一个为用户提供元数据搜索的层。

Ø企业元数据存储库：这是一个集中的存储库，可以托管所有源系统的元数据，供用户搜索所需的元数据。请注意，并非所有元数据架构都加载了企业元数据存储库。

Ø源元数据存储库：这些是托管源端元数据的单个存储库。源可以是前面提到的许多来源。

元数据架构的类型：

Ø集中式元数据架构：在这种设计中，有一个集中的企业元数据存储库，它从所有可用的源系统元数据存储库加载。元数据门户连接到这个企业元数据存储库，用于所有类型的元数据。在这种架构中，可以进行跨系统的元数据搜索。

Ø分布式元数据架构：在这种设计中，没有企业元数据存储库，因此元数据门户直接连接所有源元数据存储库。在这种架构中，跨系统元数据搜索不可用。

Ø混合式元数据架构：该设计由企业元数据存储库和分布式元数据架构组成。在源元数据快速变化且元数据和元数据源系统增长迅速的情况下，此架构更为有益。

Ø双向式元数据架构：这是最复杂的架构，其中更改是双向的，意味着元数据从源系统中提取，并在企业元数据存储库中更新时，将其推回到源系统。这样，两个存储库始终保持最新状态。