创建版本配置

本文档介绍了如何在 Dataform 中创建版本配置，以配置可按时间表执行的编译设置模板。您可以使用版本配置来配置执行环境，例如预演环境和生产环境。

Dataform 版本配置简介

为了在 BigQuery 中执行 SQL 工作流，Dataform 会将 SQL 工作流代码编译为编译结果。当您在 Dataform 工作区中开发 SQL 工作流时，系统会自动执行此过程。

利用版本配置，您可以自定义编译结果。您可以使用它们来创建执行环境，例如预演环境。

版本配置设置

在版本配置中，您可以配置工作流设置的编译替换、设置编译变量，以及设置创建编译结果的频率。

Dataform 版本配置包含以下编译设置：

发布版本设置
版本的 ID、编译结果的 git commitish，以及创建编译结果的频率。频次为可选设置。 如果已设置，则最低频率为 1 小时。
编译替换
替换工作流设置中定义的 Google Cloud 项目、表前缀、架构后缀和编译变量。

版本配置的运作方式

Dataform 会根据指定频率或在触发编译时根据版本配置创建编译结果。频率是一项可选设置，并非创建版本配置所必需的设置。如果已设置，则最低频率为 1 小时。您可以在版本配置详情页面上手动触发编译，也可以使用 Dataform API releaseConfigs 触发编译。

在编译期间，Dataform 会从代码库的指定 Git 提交代码库中拉取代码。 然后，Dataform 会使用已应用的编译替换项（如果有）编译代码，并创建编译结果。为版本配置创建的最新编译结果为实时编译结果。

您可以在工作流配置中安排执行发布配置中的编译结果。您也可以在任何时间表之外执行所选版本配置。在执行工作流配置期间，Dataform 会执行所选版本配置中的实时编译结果。

准备工作

  1. 在 Google Cloud 控制台中，前往 Dataform 页面。

    转到 Dataform 页面

  2. 选择或创建代码库。

  3. 可选：如需替换版本配置中的默认 Google Cloud 项目，请向您的 Dataform 服务帐号授予对计划使用的 Google Cloud 项目的访问权限。

所需的角色

如需获取创建版本配置所需的权限，请让管理员向您授予代码库的 Dataform Editor (roles/dataform.editor) IAM 角色。如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建版本配置

如需创建 Dataform 版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 在版本配置部分中，点击创建。

  3. 在创建版本配置窗格中，配置版本设置。

    1. 在版本 ID 字段中，为版本配置输入唯一 ID。

      ID 只能包含数字、字母、连字符和下划线。

    2. 在 Git commitish 字段中，为相应版本输入 Git 分支或 Git 提交 SHA。

    在未连接到远程代码库的 Dataform 代码库中，该值始终为 main。

    1. 可选：在 Frequency（频率）下拉列表中，选择创建编译结果的频率。

      如果已设置，则最低频率为 1 小时。

  4. 可选：在 Compilation override（编译替换）部分，配置编译设置。

    1. 在 Google Cloud 项目 ID 字段中，输入要在其中存储编译结果的 Google Cloud 项目的 ID。
    2. 在架构后缀字段中，输入要附加到工作流设置中配置的架构的后缀。
    3. 在表前缀字段中，为所有表名称输入一个前缀。

  5. 可选：在编译变量部分中，设置编译变量。

    1. 点击添加变量。
    2. 在 Key 字段中，输入编译变量。
    3. 在 Value（值）字段中，输入编译变量的值。
    4. 如需添加其他编译变量，请点击 Add variable。

  6. 点击创建。

如果要替换默认 Google Cloud 项目，请确保您的 Dataform 服务帐号有权访问版本配置中设置的 Google Cloud 项目。



例如，以下版本配置每小时从 main 分支创建一个 production 编译结果，而不进行任何编译替换：

  • 版本 ID：production
  • Git Commitish：main
  • 频率：每小时一次
  • 无编译替换

查看版本配置的详细信息

您可以查看版本配置的以下详细信息：

  • 版本设置
    • Git Commitish
    • 最新编译结果时间戳
    • Cron 时间表
    • 编译替换
    • 编译变量
  • 实时编译结果
    • 创建时间戳
    • Git Commitish
    • 提交 SHA
  • 过去的编译结果

如需查看版本配置的详细信息，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 选择版本配置。
  3. 在版本配置详情页面上，检查版本配置的详细信息。

已安排的编译结果表会显示版本配置自动创建的过往编译结果。

手动/API 编译结果表显示存储库中的最新 1000 个编译结果中手动创建或通过调用 Dataform API 创建的编译结果。

手动触发编译

如需根据所选版本配置手动创建编译结果，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 选择版本配置。
  3. 在版本配置详情页面上，点击新建编译。

新创建的编译结果将成为该版本配置的实时结果。

手动编译结果显示在版本配置详情页面上的手动/API 编译结果表中。

触发版本配置的执行

如需触发实时编译的执行，从而将选定版本配置发送到 BigQuery，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 在版本配置部分中，点击开始执行。
  3. 在执行手动工作流窗格的版本配置下拉列表中，选择版本配置。
  4. 选择要执行的 SQL 工作流操作：
    1. 如需执行整个 SQL 工作流，请点击所有操作。
    2. 如需在 SQL 工作流中执行所选操作，请点击选择操作，然后选择操作。
    3. 如需使用所选标记执行操作，请点击选择标记，然后选择标记。
  5. 可选：如需执行所选操作或标记及其依赖项，请选择包含依赖项选项。
  6. 可选：如需执行所选操作或标记及其从属项，请选择包含从属项选项。

  7. 可选：如需从头开始重新构建所有表，请选择使用完全刷新运行选项。

    如果没有此选项，Dataform 会更新增量表，而无需从头开始重新构建这些表。

  8. 点击开始执行。

修改版本配置

如需修改版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 在要修改的版本配置旁边，点击 更多菜单，然后点击修改。
  3. 在修改版本配置窗格中，修改版本配置设置，然后点击保存。

删除版本配置

如需删除版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往发布和时间安排。
  2. 在要删除的版本配置旁边，点击 更多菜单，然后点击删除。
  3. 在删除版本配置对话框中，点击删除。

后续步骤