Establece la configuración del flujo de trabajo de Dataform

En esta página, se muestra cómo editar el procesamiento del flujo de trabajo de SQL de Dataform. de configuración para un repositorio específico.

Es posible que quieras editar el archivo de configuración para cambiar el nombre de los esquemas o agregar variables de compilación a tu repositorio.

Acerca de la configuración del repositorio

Cada repositorio de Dataform contiene un flujo de trabajo único de configuración de Terraform. El archivo contiene el ID del proyecto de Google Cloud y el esquema en qué Dataform publica recursos en BigQuery. Dataform usa la configuración predeterminada que puedes anular para que se adapte mejor a tus y las necesidades del cliente editando el archivo de configuración.

A partir de Dataform Core 3.0, de forma predeterminada, la configuración del flujo de trabajo en el archivo workflow_settings.yaml. En versiones anteriores del núcleo de Dataform, la configuración del flujo de trabajo se almacena en el archivo dataform.json. El archivo workflow_settings.yaml de Dataform Core 3.0 tiene las siguientes características: retrocompatible con dataform.json. Puedes seguir usando dataform.json para establecer la configuración de Dataform.

Acerca de workflow_settings.yaml

El archivo workflow_settings.yaml, que se introdujo en Dataform Core 3.0, almacena la configuración del flujo de trabajo de Dataform en formato YAML.

En la siguiente muestra de código, puedes ver un archivo workflow_settings.yaml de muestra:

  defaultProject: my-gcp-project-id
  defaultDataset: dataform
  defaultLocation: australia-southeast2
  defaultAssertionDataset: dataform_assertions

En la muestra de código anterior, los pares clave-valor se describen de la siguiente manera:

• defaultProject: Es el ID del proyecto de Google Cloud de BigQuery.
• defaultDataset: Es el conjunto de datos de BigQuery en el que Dataform crea recursos, llamados dataform de forma predeterminada.
• defaultLocation: Es la región predeterminada del conjunto de datos de BigQuery. Para obtener más información sobre las ubicaciones de los conjuntos de datos de BigQuery, consulta Ubicaciones de los conjuntos de datos En esta ubicación, Dataform procesa tu código y almacena datos ejecutados. Esta región de procesamiento debe coincidir con la ubicación de tus conjuntos de datos de BigQuery, pero no es necesario la región del repositorio de Dataform.
• defaultAssertionDataset: Es el conjunto de datos de BigQuery en el que Dataform crea vistas con resultados de aserción, llamadas dataform_assertions de forma predeterminada.

Para obtener más información sobre las propiedades de workflow_settings.yaml, consulta Referencia de configs para la configuración del flujo de trabajo en GitHub.

Puedes acceder a las propiedades definidas en workflow_settings.yaml en tu El código de Dataform como propiedades del dataform.projectConfig .

Las siguientes asignaciones de las opciones de workflow_settings.yaml al código es accesible Se aplican dataform.projectConfig opciones:

• defaultProject => defaultDatabase
• defaultDataset => defaultSchema
• defaultAssertionDataset => assertionSchema
• projectSuffix => databaseSuffix
• datasetSuffix => schemaSuffix
• namePrefix => tablePrefix

En la siguiente muestra de código, se observa el objeto dataform.projectConfig al que se llama en un Instrucción SELECT en una vista:

  config { type: "view" }
  SELECT ${when(
    !dataform.projectConfig.tablePrefix,
    "table prefix is set!",
    "table prefix is not set!"
  )}

Acerca de dataform.json

El archivo dataform.json almacena la configuración del flujo de trabajo de Dataform en el formato JSON.

En la siguiente muestra de código, puedes ver un archivo dataform.json de muestra:

  {
    "warehouse": "bigquery",
    "defaultDatabase": "my-gcp-project-id",
    "defaultSchema": "dataform",
    "defaultLocation": "australia-southeast2",
    "assertionSchema": "dataform_assertions"
  }

En la muestra de código anterior, los pares clave-valor se describen de la siguiente manera:

• warehouse: puntero a BigQuery, donde Dataform crea recursos.
• defaultDatabase: Es el ID del proyecto de Google Cloud de BigQuery.
• defaultSchema: Es el conjunto de datos de BigQuery en el que Dataform crea recursos, llamados dataform de forma predeterminada.
• defaultLocation: Es la región predeterminada del conjunto de datos de BigQuery. Para obtener más información sobre las ubicaciones de los conjuntos de datos de BigQuery, consulta Ubicaciones de los conjuntos de datos En esta ubicación, Dataform procesa tu código y almacena datos ejecutados. Esta región de procesamiento debe coincidir con la ubicación de tus conjuntos de datos de BigQuery, pero no es necesario la región del repositorio de Dataform.
• assertionSchema: Es el conjunto de datos de BigQuery en el que Dataform crea vistas con resultados de aserción, llamadas dataform_assertions de forma predeterminada.

Puedes acceder a las propiedades definidas en dataform.json en el código de tu proyecto como Propiedades de dataform.projectConfig .

Antes de comenzar

1. Crea un repositorio.

2. Crea e inicializa un lugar de trabajo de desarrollo en tu repositorio.

Roles obligatorios

Si quieres obtener los permisos que necesitas para configurar Dataform, haz lo siguiente: solicita a tu administrador que te otorgue el Es el rol de IAM de Administrador de Dataform (roles/dataform.admin) en los repositorios. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Configura nombres de esquemas

Para configurar los nombres de esquemas, debes editar defaultDataset y defaultAssertionSchema propiedades en el archivo workflow_settings.yaml o el defaultSchema y las propiedades assertionSchema en el archivo dataform.json.

Para configurar el nombre de un esquema, sigue estos pasos:

  ...
  defaultDataset: mytables
  ...

{
  ...
  "defaultSchema": "mytables",
  ...
}

Crea variables de compilación personalizadas

Las variables de compilación contienen valores que puedes modificar con la compilación anulaciones en una configuración de lanzamiento o en una solicitud a la API de Dataform.

Después de definir una variable de compilación en workflow_settings.yaml y agregarla a de las tablas seleccionadas, puedes modificar su valor en una configuración de lanzamiento Anulaciones de compilación de la API de Dataform ejecutar tablas de forma condicional.

Si deseas obtener más información sobre la ejecución de tablas de forma condicional usando variables de compilación, consulta Introducción al ciclo de vida del código en Dataform.

Para crear una variable de compilación que puedas usar en un repositorio, haz lo siguiente: sigue estos pasos:

...
vars:
  myVariableName: myVariableValue
...

defaultProject: default_bigquery_database
defaultLocation: us-west1
defaultDataset: dataform_data,
vars:
executionSetting: dev

{
  ...
  "vars": {
    "myVariableName": "myVariableValue"
  },
  ...
}

{
"warehouse": "bigquery",
"defaultSchema": "dataform_data",
"defaultDatabase": "default_bigquery_database".
"defaultLocation":"us-west-1",
"vars": {
"executionSetting":"dev"
}
}

Cómo agregar una variable de compilación a una tabla

Para agregar una variable de compilación a un archivo de definición de tablas de SQLX, sigue estos pasos:

1. Ve a tu lugar de trabajo de desarrollo de Dataform.
2. En el panel Files, selecciona un archivo de definición de tablas de SQLX.

3. En el archivo, ingresa una cláusula when en el siguiente formato:

   ${when(dataform.projectConfig.vars.YOUR_VARIABLE === "SET_VALUE", "CONDITION")}
   

   Reemplaza lo siguiente:

   • YOUR_VARIABLE por el nombre de la variable por ejemplo executionSetting.
   • SET_VALUE por un valor para la variable por ejemplo, staging.
   • CONDITION por una condición para la ejecución de la tabla

En la siguiente muestra de código, aparece un archivo SQLX de definición de tablas con un when. y la variable executionSetting que ejecuta el 10% de los datos en la configuración de la ejecución de la etapa de pruebas:

  select
    *
  from ${ref("data")}
  ${when(
    dataform.projectConfig.vars.executionSetting === "staging",
    "where mod(farm_fingerprint(id) / 10) = 0",
  )}

En la siguiente muestra de código, se observa un archivo SQLX de definición de vistas con un when. y la variable myVariableName:

  config { type: "view" }
  SELECT ${when(
    dataform.projectConfig.vars.myVariableName === "myVariableValue",
    "myVariableName is set to myVariableValue!",
    "myVariableName is not set to myVariableValue!"
  )}

¿Qué sigue?

• Para obtener más información sobre la configuración de los proyectos de Dataform, consulta Referencia de IProjectConfig.

• Para aprender a control de versión del código en Dataform, consulta Controla la versión de tu código.

• Para aprender a definir una tabla, consulta Crea una tabla.