使用 Dataplex Universal Catalog 管理 Dataform 代码库的元数据

本文档介绍了如何使用 Dataplex Universal Catalog 查看 Dataform 代码库的元数据，并使用切面为这些元数据添加注解。

借助 Dataplex Universal Catalog，您可以存储和管理元数据。默认情况下，Dataplex Universal Catalog 中会提供 Dataform 代码库，无需进行任何其他配置。 Dataplex Universal Catalog 会自动从 Dataform 代码库中检索以下元数据：

  • 数据资产名称
  • 数据素材资源父级
  • 数据资产位置
  • 数据素材资源类型
  • 对应的 Google Cloud 项目
  • 第三方代码库来源
  • 服务代理或服务账号

准备工作

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. 确保您拥有必要的 Identity and Access Management (IAM) 权限。

所需的角色

如需在 Dataplex Universal Catalog 中管理 Dataform 代码库，您需要拥有可让您访问 Dataform 资源的预定义 Dataform 角色，以及所需的 Dataplex Universal Catalog 角色。

在 Dataplex Universal Catalog 中管理元数据

Dataplex Universal Catalog 会将 Dataform 代码库作为条目记录在日志中，并包含以下条目值：

系统条目组
Dataform 代码库的系统条目组为 @dataform。如需在 Dataplex Universal Catalog 中查看代码库条目的详细信息，您需要查看 dataform 系统条目组。如需了解如何查看条目组中所有条目的列表，请参阅 Dataplex Universal Catalog 文档中的查看条目组的详细信息。
系统条目类型
Dataform 代码库的系统条目类型为 dataform-repository。如需查看 Dataform 代码库的详细信息，您需要查看 dataform-repository 系统条目类型。如需了解如何查看所选条目类型的详细信息，请参阅 Dataplex Universal Catalog 文档中的查看条目类型的详细信息。如需了解如何查看所选条目的详细信息，请参阅 Dataplex Universal Catalog 文档中的查看条目的详细信息。

搜索资产

如需了解如何在 Dataplex Universal Catalog 中搜索数据资产，请参阅 Dataplex Universal Catalog 文档中的在 Dataplex Universal Catalog 中搜索数据资产。

为代码库添加注解

如需为 Dataplex Universal Catalog 中的 Dataform 代码库提供更多上下文信息，您可以使用切面为 Dataform 条目添加注释。

Dataform 代码库的系统方面类型为 dataform-repository。

如需了解如何使用方面为条目添加注解，请参阅 Dataplex Universal Catalog 文档中的管理方面并丰富元数据。

限制

在 Dataplex Universal Catalog 中管理 Dataform 代码库需遵循以下限制：

  • 您无法在 Dataplex Universal Catalog 中查看或管理 Dataform 文件级资产（例如表或视图）。

位置

您可以使用 Dataplex Universal Catalog 管理来自所有 Dataform 位置的 Dataform 代码库。

配额

在 Dataplex Universal Catalog 中管理 Dataform 代码库需遵循 Dataplex Universal Catalog 配额和限制。

价格

在 Dataplex Universal Catalog 中管理 Dataform 代码库需遵循 Dataplex Universal Catalog 价格。

后续步骤