Dataform リポジトリの作成

このドキュメントでは、リポジトリの作成、リポジトリのサービス アカウントの設定と編集、Dataform でのリポジトリの削除を行う方法について説明します。

Dataform リポジトリを作成する際は、次のリポジトリ設定を行う必要があります。

リポジトリ ID
リポジトリの一意の ID。ID には数字、英字、ハイフン、アンダースコアのみを使用できます。
リージョン

リポジトリとそのコンテンツを保存するための Dataform リージョン。

このストレージ リージョンは、Dataform がコードを処理して実行結果を保存する処理リージョンとは異なる場合があります。デフォルトでは、処理リージョンはデフォルトの BigQuery データセット リージョンに設定されています。リポジトリを作成した後、ワークフロー設定ファイルで処理リージョンを編集できます。詳細については、Dataform の設定を行うをご覧ください。

サービス アカウント

リポジトリに関連付けられたサービス アカウント。デフォルトの Dataform サービス アカウント、Google Cloud プロジェクトに関連付けられたサービス アカウントを選択することも、別のサービス アカウントを手動で入力することもできます。 デフォルトでは、Dataform はプロジェクト番号から派生した次の形式のサービス アカウントを使用します。

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform は、すべてのリポジトリ オペレーションにデフォルトのサービス アカウントを使用します。別のサービス アカウントを使用してリポジトリでワークフローを実行することができますが、他のすべてのリポジトリ オペレーションにはデフォルトのサービス アカウントが引き続き使用されます。

暗号化

リポジトリの暗号化方式。デフォルトの暗号化を使用するか、顧客管理の Cloud KMS 暗号鍵を適用できます。Dataform での顧客管理の暗号鍵（CMEK）の使用の詳細については、顧客管理の暗号鍵の使用をご覧ください。

リポジトリを作成したら、GitHub または GitLab に接続できます。

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  4. BigQuery and Dataform API を有効にします。

    API を有効にする

    5.

  5. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  6. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  7. BigQuery and Dataform API を有効にします。

    API を有効にする

    8.
  8. リポジトリに CMEK 暗号化を使用するには、Dataform リポジトリの CMEK 暗号化を有効にする。

必要なロール

リポジトリの作成と削除に必要な権限を取得するには、リポジトリに対する Dataform 管理者 （roles/dataform.admin）IAM ロールの付与を管理者に依頼してください。ロールの付与の詳細については、アクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

デフォルトの Dataform サービス アカウント以外のサービス アカウントを使用するには、カスタム サービス アカウントへのアクセス権を付与します。

リポジトリを作成する

Dataform リポジトリの作成手順は次のとおりです。

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. [リポジトリを作成] をクリックします。

  3. [リポジトリの作成] ページの [リポジトリ ID] フィールドに一意の ID を入力します。

    ID には数字、英字、ハイフン、アンダースコアのみを使用できます。

  4. [リージョン] プルダウン リストで、リポジトリとそのコンテンツを保存する Dataform リージョンを選択します。自分の場所に最も近い Dataform リージョンを選択します。

    使用可能な Dataform リージョンの一覧については、ロケーションをご覧ください。リポジトリ リージョンは、BigQuery データセットのロケーションと一致する必要はありません。

    workflow_settings.yaml ファイルでは、Dataform がコードを処理し、実行の出力を保存する処理リージョンを設定できます。処理リージョンは、BigQuery データセットのロケーションと一致する必要がありますが、リポジトリ リージョンと一致する必要はありません。詳細については、 Dataform の設定を構成するをご覧ください。

  5. [サービス アカウント] プルダウンから、リポジトリのサービス アカウントを選択します。

    プルダウンからは、デフォルトの Dataform サービス アカウント、またはアクセス可能な Google Cloud プロジェクトに関連付けられ����る���ービス アカウントを選択��きます。カスタム サービス アカウントはワークフローの実行にのみ使用されることに注意してください。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。

    1. 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。

  6. [暗号化] セクションで、リポジトリの暗号化方式を選択します。

    1. デフォルトの暗号化を使用するには、[Google が管理する暗号鍵] オプションを選択します。

    2. CMEK を使用するには、[顧客管理の暗号鍵（CMEK）] オプションを選択します。

      1. [顧客管理の暗号鍵を選択] プルダウンで、リポジトリの CMEK 鍵を選択します。

    詳細については、Dataform CMEK の制限事項をご覧ください。

  7. [作成]、[完了] の順にクリックします。

サービス アカウントを編集する

ワークフローを実行するためにカスタム サービス アカウントを Dataform リポジトリに関連付けることができます。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。

Dataform リポジトリのサービス アカウントを編集する手順は次のとおりです。

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. リポジトリを選択し、[設定] をクリックします。

  3. [サービス アカウント] フィールドで、 [サービス アカウントの編集] をクリックします。

  4. [サービス アカウント] プルダウンから、リポジトリのサービス アカウントを選択します。

    プルダウンからは、デフォルトの Dataform サービス アカウント、またはアクセス可能な Google Cloud プロジェクトに関連付けられているサービス アカウントを選択できます。

    1. 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。

  5. [保存] をクリックします。

リポジトリを削除する

リポジトリとそのすべてのコンテンツを削除するには、次の手順を行います。

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. 削除するリポジトリで、 [その他] メニューをクリックし、[削除] を選択します。

  3. [リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。

  4. [削除] をクリックします。

次のステップ