从 Cloud Life Sciences 迁移到 Batch

  {
    "actions": [
      {
        "imageUri": "bash",
        "commands": [
          "-c",
          "echo Hello, world!"
        ]
      }
    ]
  }
  

    {
      "taskGroups" : [{
        "taskSpec" : {
          "runnables" : [{
            "container":{
              "imageUri": "bash",
              "commands": [
                "-c",
                "echo Hello, world!"
              ]
            }
          }]
        }
      }]
    }
    

• 运行流水线。

• 创建和运行作业。

• 列出长时间运行的操作。

• 查看作业列表。

• 获取长时间运行的操作的详细信息。
• 轮询长时间运行的操作。

• 查看任务详情。
• 查看作业的任务列表。
• 查看任务的详细信息。

• 取消长时间运行的操作。

• 删除（和取消）作业。
• 检查作业删除请求的状态。

以下任意一项：

• 项目的 Cloud Life Sciences Admin (roles/lifesciences.admin)
• 项目的 Cloud Life Sciences Editor (roles/lifesciences.editor)
• 项目的 Cloud Life Sciences Workflows Runner (roles/lifesciences.workflowsRunner)

• lifesciences.workflows.run
• lifesciences.operations.cancel
• lifesciences.operations.get
• lifesciences.operations.list

• lifesciences.operations.get
• lifesciences.operations.list
• resourcemanager.projects.get
• resourcemanager.projects.list

• batch.jobs.create
• batch.jobs.delete
• batch.jobs.get
• batch.jobs.list
• batch.locations.get
• batch.locations.list
• batch.operations.get
• batch.operations.list
• batch.tasks.get
• batch.tasks.list
• resourcemanager.projects.get
• resourcemanager.projects.list

• batch.jobs.get
• batch.jobs.list
• batch.locations.get
• batch.locations.list
• batch.operations.get
• batch.operations.list
• batch.tasks.get
• batch.tasks.list
• resourcemanager.projects.get
• resourcemanager.projects.list

• iam.serviceAccounts.actAs
• iam.serviceAccounts.get
• iam.serviceAccounts.list
• resourcemanager.projects.get
• resourcemanager.projects.list

• batch.states.report

一个批量作业由包含一个或多个任务的数组组成 每个容器执行所有相同的可运行对象 Cloud Life Sciences 流水线与此类似 一个任务的批量作业。 不过，Cloud Life Sciences （具有多个任务的作业）没有等效概念， 有点像流水线的重复过程。

如需详细了解作业和任务，请参阅 Batch 概览。

Cloud Life Sciences 操作描述的是一个容器 批量可运行状态可包含容器或脚本。

为容器可运行：

• 用户名 (username)
• 密码 (password)

在 Cloud Life Sciences 中，操作的凭据必须是 Cloud Key Management Service 加密 包含用户名和密码键值对的字典。

在 Batch 中， 可运行的容器的用户名和密码位于单独的字段中。 上述任一字段均可指定纯文本或 Secret Manager Secret。

触发以下操作：

• 环境变量 (environment)
• 加密的环境变量 (encryptedEnvironment)

对环境的影响：

• 变量 (variables)
• 加密变量 (encryptedVariables)
• Secret 变量 (secretVariables)

可能的环境：

• 一个可运行对象（runnables[] 中的 environment）
• 所有可运行对象（taskSpec 中的 environment）
• 所有任务（taskGroups[] 中的 taskEnvironments[]）

借助 Cloud Life Sciences，您可以指定环境变量 用作纯文本或加密字典的操作。 在 Batch 中，这类似于使用环境 对于可运行对象（runnables[] 中的 environment 字段） 包含格式为 纯文本 (variables) 或 加密字典 (encryptedVariables)。

不过，Batch 还提供了 环境变量：

• 将变量指定为纯文本的替代方法 或加密字典，您可以使用 Secret Manager Secret（通过使用 Secret 变量 (secretVariables)。
• 除了为可运行对象指定环境变量外， 您可以使用以下命令为所有可运行对象指定环境变量 使用 taskSpec 中的 environment 字段。
• 除指定具有 同一个值，则可以指定一个环境变量， 使用 taskGroups[] 中的 taskEnvironments[] 字段。

如需了解详情，请参阅 使用环境变量。

与 Cloud Life Sciences 不同 批次的请求中不包含标签字段 创建新作业。与批处理功能最相近的选项 使用仅与作业关联的标签。

批次包含多种类型的标签 （labels 字段）。 如需更多信息 请参阅使用标签整理资源。

在 Cloud Life Sciences 中，流水线在单个虚拟机上执行， 您可以为这些节点指定所需的区域和/或可用区

在 Batch 中，等效选项是允许的位置 您可以将其定义为一个或多个区域或可用区 并指定可以创建作业虚拟机的位置。 单个批量作业的所有虚拟机都属于单个 位于特定区域中的代管式实例组 (MIG)；不过， 各个虚拟机可能位于该区域的不同可用区

值得注意的是，您可以自行选择是否为某个职位指定允许的位置字段 因为它与作业的位置是分开的与任务的位置不同， 允许的位置不会影响用于创建 批量作业和存储作业元数据。 如需了解详情，请参阅批量位置。

流水线资源 (resources)：

• 虚拟机 (virualMachine)

用于作业的资源政策 (allocationPolicy)：

• 虚拟机 (instances)
• 服务账号 (serviceAccount)
• 标签（allocationPolicy 中的 labels）
• 网络 (network)

在 Cloud Life Sciences 中，您可以配置 流水线。

在 Batch 中， 虚拟机的不同选项 作业的资源分配政策 (allocationPolicy)：

• 虚拟机的服务账号、标签和网络配置 。
• 虚拟机字段 (instances)，您可以任意定义 直接使用实例模板，也可以使用实例模板，包括配置选项 机器类型、允许的最低要求 CPU 平台、启动磁盘和 任何其他挂接的磁盘以及所有 GPU 和 GPU 驱动程序。

触发以下操作：

• 标签（actions[] 中的 labels）
• 超时选项 (timeout)
• 用于忽略退出状态的选项 (ignoreExitStatus)
• 可在后台运行的选项 (runInBackground)
• 始终运行的选项 (alwaysRun)

：

• 标签（runnables[] 中的 labels）
• 超时选项 (timeout)
• 用于忽略退出状态的选项 (ignoreExitStatus)
• 可在后台运行的选项 (background)
• 始终运行的选项 (alwaysRun)

Cloud Life Sciences 中的各种便捷标志 在 Batch 中是等效的 只不过是为每个可运行 （可以包含脚本或容器）来代替每个操作 （容器）。

触发以下操作：

• 用于发布公开端口的选项 (publishExposedPorts)
• 用于指定进程 ID (PID) 命名空间 (pidNamespace) 的选项
• 和用于指定容器到主机端口映射的选项 (portMappings)

下列 Cloud Life Sciences 选项（及其他选项）受以下国家/地区支持： 通过选项字段 (options) 进行批处理 表示容器可运行将选项字段设置为 希望将 Batch 附加到 docker run 命令， 例如 -P --pid mynamespace -p 22:22。

触发以下操作：

• 用于停用提前下载容器映像的选项 (disableImagePrefetch)
• 用于禁止返回标准错误流的选项 (disableStandardErrorCapture)

Batch 预提取图片并处理 按照作业的 日志政策 (logsPolicy)。

用于阻止外部网络访问的 Cloud Life Sciences 选项 与“批处理”选项相似 为容器配置网络

Batch 还有许多其他网络选项，例如 来为作业的所有虚拟机屏蔽外部网络如需更多信息 请参阅批量网络概览。

在 Batch 中，您可以使用 taskSpec 中的 volumes[] 字段 定义作业的卷及其装载路径。 Batch 将存储卷装载到作业的虚拟机 并且存储卷可供作业的所有可运行对象访问 （脚本或容器）。此装载是在虚拟机之前完成的 执行任何任务或可运行对象。

此外，Batch 使用 container 中的 volumes[] 字段。这些装载选项 会作为 docker run 命令的 --volume 标志：适用于 例如，[ "/etc:/etc", "/foo:/bar" ] 值为 已转换为 docker run --volume /etc:/etc --volume /foo:/bar 命令 容器

如需详细了解如何将存储卷用于 批处理，请参阅创建和运行使用存储卷的作业。

批处理装载所有存储卷 例如您为作业指定的 Cloud Storage 存储桶 因此，您不启用任何装载工具，如 Cloud Storage FUSE ；不过，您可以视需要指定 为存储卷提供装载选项 mountOptions[] 字段。

如需详细了解如何将 Cloud Storage 存储分区用于 批处理，请参阅创建和运行使用存储卷的作业。

获取作业的通知配置 (notifications[])：

• Pub/Sub 主题 (pubSubTopic)
• 消息 (message)

与 Batch 相比，使用 Batch 可以更好地自定义状态更新。 Cloud Life Sciences。例如，Batch 用户可以 出现 Pub/Sub 情况时通知我： 更改状态，或者仅在整个作业更改状态时更改。

要使用 Cromwell 配置文件进行 v2beta Cloud Life Sciences API 与 Batch API 请改为进行以下更改：

1. 对于 actor-factory 字段，将 cromwell.backend.google.pipelines.v2beta.PipelinesApiLifecycleActorFactory 替换为 cromwell.backend.google.batch.GcpBatchLifecycleActorFactory。
2. 移除 genomics.endpoint-url 字段。
3. 生成新的配置文件。

为 Cloud Life Sciences 运行 dsub 流水线 请改用 Batch，并进行以下更改：

• 对于 provider 字段，将 google-cls-v2 替换为 google-batch。

要使用 Nextflow 配置文件 Cloud Life Sciences 与 Batch， 进行以下更改：

1. 对于 executor 字段，将 google-lifesciences 替换为 google-batch。
2. 对于任何 config 前缀，请将 google.lifeScience 替换为 google.batch。

为 v2beta Cloud Life Sciences API 使用 Snakemake 流水线 改为使用 Batch API，请执行以下操作： 更改：

1. 确保您使用的是 Snakemake 8 或更高版本。如需了解详情，请参阅 在 Snakemake 版本之间迁移。

2. 对 snakemake 命令进行以下更改：

   • 将 --google-lifesciences 标志替换为 --executor googlebatch 标志。
   • 替换任何带有 --google-lifesciences- 前缀使用 --googlebatch- 前缀。