Nutzerhandbuch für Ressourcen in der Warteschlange

Mit Ressourcen in der Warteschlange können Sie Cloud TPU-Ressourcen in der Warteschlange anfordern. Wenn Sie Ressourcen in der Warteschlange anfordern, wird die Anfrage einer Warteschlange hinzugefügt, die von dem Cloud TPU-Dienst. Wenn die angeforderte Ressource verfügbar ist, die Ihrem Google Cloud-Projekt zur sofortigen ausschließlichen Verwendung zugewiesen sind. Sie bleibt erhalten, die Ihrem Projekt zugewiesen sind, es sei denn, Sie löschen es oder es wird vorzeitig beendet. Nur TPU Spot-VMs und TPUs auf Abruf können vorzeitig beendet werden.

Sie können einen optionalen start and end time in einer Warteschlange Ressourcenanfrage. Mit dem Beginn wird der früheste Zeitpunkt für das Ausfüllen angegeben. der Anfrage. Wenn eine Anfrage bis zum angegebenen Ende nicht erfüllt wurde, wird der -Anfrage verfällt. Die Anfrage bleibt nach ihrem Ablauf in der Warteschlange.

Ressourcenanfragen in der Warteschlange können einen der folgenden Status haben:

WAITING_FOR_RESOURCES

Die Anfrage hat die anfängliche Validierung bestanden und wurde der Warteschlange hinzugefügt. Er bleibt in diesem Zustand, bis genügend freie Ressourcen vorhanden sind. die Bereitstellung Ihrer Anfrage oder das Zuweisungsintervall an. Bei hoher Nachfrage können nicht alle Anfragen sofort beantwortet werden bereitgestellt. Wenn Sie eine zuverlässigere Verfügbarkeit von TPUs benötigen, sollten Sie eine Reservierung vornehmen. <ph type="x-smartling-placeholder">

PROVISIONING

Die Anfrage wurde aus der Warteschlange ausgewählt und ihre Ressourcen werden gerade zugewiesen.

ACTIVE

Die Anfrage wurde zugewiesen. Wenn Ressourcenanfragen in der Warteschlange ACTIVE haben, können Sie Ihre TPU-VMs wie hier beschrieben verwalten: TPUs verwalten.

FAILED

Die Anfrage konnte nicht abgeschlossen werden. Entweder gibt es ein Problem mit dem Anfrage oder die angeforderten Ressourcen waren im Zuweisungsintervall nicht verfügbar. Die Anfrage bleibt in der Warteschlange, bis sie explizit gelöscht wird.

SUSPENDING

Die mit der Anfrage verknüpften Ressourcen werden gerade gelöscht.

SUSPENDED

Die in der Anfrage angegebenen Ressourcen wurden gelöscht. Wenn eine Anfrage den Status SUSPENDED hat, kann sie nicht mehr verwendet werden Zuordnung.

Vorbereitung

Bevor Sie die Befehle in dieser Anleitung ausführen, prüfen Sie Folgendes:

• Installieren Sie die Alphakomponenten der Google Cloud CLI.
• Aktivieren Sie die Cloud TPU API.

On-Demand-Ressource in der Warteschlange anfordern

Mit dem Befehl gcloud compute tpus queued-resources create können Sie eine On-Demand-Ressource in der Warteschlange anfordern. Weitere Informationen zu On-Demand-Ressourcen finden Sie unter Kontingenttypen.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project \
--zone us-central2-b \
--accelerator-type v4-8 \
--runtime-version tpu-vm-tf-2.16.1-pjrt

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-8',
      'runtime_version': 'tpu-vm-tf-2.16.1-pjrt',
    }
  }
}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Standard-Slice-Größen für On-Demand-Ressourcen in der Warteschlange

Wenn Sie ein On-Demand-Kontingent verwenden, müssen Sie eine Segmentgröße anfordern, die kleiner als die Standardlimit für den verwendeten Beschleunigertyp festgelegt. Anfragen, die die Standardlimits werden vom System abgelehnt.

In der folgenden Tabelle sind die TPU-Typen und die zugehörigen Standardlimits.

Wenn Sie größere Slices benötigen, wenden Sie sich an Cloud TPU erhalten Sie weitere Informationen.

Ressource in der Warteschlange mithilfe einer Reservierung anfordern

Sie können eine in die Warteschlange gestellte Ressource mithilfe einer Reservierung anfordern, indem Sie die --reserved in Ihrem gcloud-Befehl oder guaranteed.reserved=true in Ihrem curl-Anfrage gestellt. Wenn Sie eine Reservierung kaufen möchten, wenden Sie sich an Ihr Account-Management-Team für Google Cloud.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project \
--zone us-central2-b \
--accelerator-type v4-8 \
--runtime-version tpu-vm-tf-2.16.1-pjrt \
--reserved

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-8',
      'runtime_version': 'tpu-vm-tf-2.16.1-pjrt',
    }
  }
},
'guaranteed': {
  'reserved': true,
}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

TPU Spot-VM-Ressource in der Warteschlange anfordern

Eine Spot-VM ist eine Ressource, die vorzeitig beendet werden kann und jederzeit einer anderen Arbeitslast zugewiesen werden. Spot-VM-Ressourcen die Kosten sind geringer und Sie erhalten möglicherweise früher Zugriff auf Ressourcen als Nicht-Spot-VM-Anfrage. Weitere Informationen zu TPUs Spot-VMs finden Sie unter TPU Spot-VMs verwalten.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-8 \
--runtime-version tpu-vm-tf-2.16.1-pjrt \
--spot

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-8',
      'runtime_version': 'tpu-vm-tf-2.16.1-pjrt'
    }
  }
},
'spot': {}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Fordern Sie eine Ressource in der Warteschlange an, die vor oder nach einer bestimmten Zeit zugewiesen wird

Sie können optional einen Beginn, ein Ende Uhrzeit, Start Dauer oder Ende Dauer in einer Ressourcenanfrage in der Warteschlange. Die „Startzeit“ oder „Startdauer“ gibt an, wann der früheste Zeitpunkt für das Füllen des Wenn eine Anfrage bis zum angegebenen Ende oder innerhalb der der angegebenen Dauer, läuft die Anfrage ab. Nachdem die Anfrage abgelaufen ist, verbleibt in der Warteschlange, kann aber nicht mehr zugewiesen werden.

Sie können auch ein Zuweisungsintervall festlegen, indem Sie und geben eine Startzeit oder Dauer und eine Endzeit oder Dauer an.

Weitere Informationen finden Sie unter Datetime für ein Liste der unterstützten Formate für Zeitstempel und Dauer.

Ressource in der Warteschlange nach einem bestimmten Zeitraum anfordern

Sie können den Zeitraum angeben, nach dem eine Ressource zugewiesen werden soll. Verwenden Sie dazu Das Flag --valid-after-duration. Im folgenden Beispiel wird eine Version 4-32 angefordert, nach sechs Stunden zugewiesen werden.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-32 \
--runtime-version tpu-vm-tf-2.16.1-pod-pjrt \
--valid-after-duration 6h

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-32',
      'runtime_version': 'tpu-vm-tf-2.16.1-pod-pjrt',
    }
  }
},
'queueing_policy': {
  'valid_after_duration': {
    'seconds': 21600
  }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Ressource in der Warteschlange anfordern, die nach einem bestimmten Zeitraum abläuft

Sie können angeben, wie lange eine Ressourcenanfrage in der Warteschlange gültig bleibt, indem Sie Das Flag --valid-until-duration. Im folgenden Beispiel wird eine Version 4-32 angefordert, läuft ab, wenn das Feld nicht innerhalb von sechs Stunden ausgefüllt wird.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-32 \
--runtime-version tpu-vm-tf-2.16.1-pod-pjrt \
--valid-until-duration 6h

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-32',
      'runtime_version': 'tpu-vm-tf-2.16.1-pod-pjrt',
    }
  }
},
'queueing_policy': {
  'valid_until_duration': {
    'seconds': 21600
  }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Eine Ressource in der Warteschlange nach einer bestimmten Zeit anfordern

Sie können einen Zeitpunkt angeben, nach dem eine Ressource mithilfe der Methode Flag --valid-after-time.

Mit dem folgenden Befehl wird eine v4-4096 TPU mit Laufzeitversion tpu-vm-tf-2.16.1-pjrt, die am 14. Dezember 2022 nach 09:00 Uhr zugewiesen wird.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-4096 \
--runtime-version tpu-vm-tf-2.16.1-pod-pjrt \
--valid-after-time 2022-12-14T09:00:00Z

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-4096',
      'runtime_version': 'tpu-vm-tf-2.16.1-pod-pjrt',
    }
  }
},
'queueing_policy': {
  'valid_after_time': {
    'seconds': 2022-12-14T09:00:00Z
  }
}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Ressource in der Warteschlange vor einer bestimmten Zeit anfordern

Sie können mit der Methode Flag --valid-until-time.

Mit dem folgenden Befehl wird eine v4-4096 TPU mit Laufzeitversion tpu-vm-tf-2.10.0-pod, die spätestens am 14. Dezember 2022 um 09:00 Uhr erstellt wird.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-4096 \
--runtime-version tpu-vm-tf-2.16.1-pod-pjrt \
--valid-until-time 2022-12-14T09:00:00Z

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-4096',
      'runtime_version': 'tpu-vm-tf-2.16.1-pod-pjrt',
    }
  }
},
'queueing_policy': {
  'valid_until_time': {
    'seconds': 1655197200
  }
}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Fordern Sie eine Ressource in der Warteschlange an, die innerhalb eines bestimmten Intervalls zugewiesen wird

Sie können ein Zuweisungsintervall mit einem beliebigen Paar aus --valid-after-time, Flags --valid-after-duration, --valid-until-duration und --valid-until-time vorausgesetzt, ein Flag gibt den Beginn des Zuweisungsintervalls und den other gibt das Ende des Zuweisungsintervalls an.

Mit dem folgenden Befehl wird in 5 Stunden und 30 Minuten vom bis zum 14. Dezember 2022 um 09:00 Uhr erstellt werden.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project-id \
--zone us-central2-b \
--accelerator-type v4-32 \
--runtime-version tpu-vm-tf-2.16.1-pod-pjrt \
--valid-after-duration 5h30m \
--valid-until-time 2022-12-14T09:00:00Z

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-32',
      'runtime_version': 'tpu-vm-tf-2.16.1-pod-pjrt',
    }
  }
},
'queueing_policy': {
  'validInterval': {
    'startTime': '2022-12-10T14:30:00Z',
    'endTime': '2022-12-14T09:00:00Z'
  }
},
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Ressource in der Warteschlange mit einem Startskript anfordern

Sie können festlegen, dass ein Skript für eine Ressource in der Warteschlange ausgeführt wird, nachdem diese bereitgestellt. Mit dem Befehl gcloud können Sie entweder den --metadata oder --metadata-from-file, um einen Skriptbefehl oder eine Datei mit den Skript-Code. Bei Verwendung von curl müssen Sie das Skript angeben Code im JSON-Inhalt. Im folgenden Beispiel wird eine Ressource in der Warteschlange erstellt , durch die das in startup-script.sh enthaltene Skript ausgeführt wird. Das curl Das Beispiel zeigt ein Inline-Skript im JSON-Textkörper.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project \
--zone us-central2-b \
--accelerator-type v4-8 \
--runtime-version tpu-vm-tf-2.12.0 \
--reserved \
--metadata-from-file='startup-script=startup-script.sh'

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
tpu: {
    node_spec: {
      parent: 'projects/your-project-number/locations/us-central2-b',
      node_id: 'your-node-id',
      node: {
          accelerator_type: 'v2-8',
          runtime_version: 'tpu-vm-tf-2.16.1-pjrt',
          metadata: {
              "startup-script": "#! /bin/bash\npwd > /tmp/out.txt\nwhoami >> /tmp/out.txt"
          }
      }
    }
},
'queueing_policy': {
  'validInterval': {
    'startTime': '2022-12-10T14:30:00Z',
    'endTime': '2022-12-14T09:00:00Z'
  }
},
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Ressourcen in der Warteschlange mit einem angegebenen Netzwerk und Subnetzwerk anfordern

Sie können eine Ressource in der Warteschlange anfordern, in der Sie das Netzwerk und Subnetzwerk angeben, mit dem Sie die TPU verbinden möchten.

gcloud alpha compute tpus queued-resources create your-queued-resource-id \
--node-id your-node-id \
--project your-project \
--zone us-central2-b \
--accelerator-type v4-8 \
--runtime-version tpu-vm-tf-2.16.1-pjrt \
--network network-name \
--subnetwork subnetwork-name

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
'tpu': {
  'node_spec': {
    'parent': 'projects/your-project-number/locations/us-central2-b',
    'node_id': 'your-node-id',
    'node': {
      'accelerator_type': 'v4-8',
      'runtime_version': 'tpu-vm-tf-2.16.1-pjrt',
       'network_config': {
        'network': 'network-name',
        'subnetwork': 'subnetwork-name',
        'enable_external_ips': true
    }
  }
},
'guaranteed': {
  'reserved': true,
}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central2-b/queuedResources?queued_resource_id=your-queued-resource-id

Ressourcenanfrage in der Warteschlange löschen

Sie können eine Anfrage an eine Ressource in der Warteschlange und die von der Anfrage erstellte TPU-VM löschen indem Sie das Flag --force an den Befehl queued-resource delete übergeben. Andernfalls müssen Sie die TPU-VM löschen, bevor Sie die Ressourcenanfrage in der Warteschlange löschen. Wenn Sie wenn Sie die TPU-VM löschen, geht die Ressourcenanfrage in der Warteschlange auf den SUSPENDED-Status, nach dem die in die Warteschlange gestellte Ressourcenanfrage möglicherweise gelöscht.

Mit den folgenden Befehlen wird die Ressourcenanfrage in der Warteschlange mit dem Namen „meine-warteschlange-ressource“ im Projekt „my-project“ in der Zone „us-central2-b“. Es verwendet das Flag --force, um sowohl die TPU-VM als auch die Ressource in der Warteschlange zu löschen.

gcloud compute tpus queued-resources delete my-queued-resource \
--project my-project \
--zone us-central2-b \
--force \
--async

curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/my-project/locations/us-central2-b/queuedResources/my-queued-resource?force=true

Mit den folgenden Befehlen wird die Anfrage für eine in die Warteschlange gestellte Ressource namens „my-queued-resource“ gelöscht im Projekt „my-project“ in der Zone „us-central2-b“.

gcloud compute tpus queued-resources delete your-queued-resource-id \
--project your-project-id \
--zone us-central2-b

curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id

Status- und Diagnoseinformationen zu einer Ressourcenanfrage in der Warteschlange abrufen

Rufen Sie die Status- und Diagnoseinformationen zu einer Ressourcenanfrage in der Warteschlange ab:

gcloud compute tpus queued-resources describe queued-resource-request-id \
--project your-project-id \
--zone us-central2-b

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id

Wenn die Anfrage fehlschlägt, enthält die Antwort Fehlerinformationen. Bei einer Anfrage die auf Ressourcen wartet, sieht die Ausgabe in etwa so aus:

name: projects/your-project-id/locations/us-central2-b/queuedResources/your-queued-resource-id
state:
  state: WAITING_FOR_RESOURCES
tpu:
  nodeSpec:
  - node:
      acceleratorType: v4-8
      bootDisk: {}
      networkConfig:
        enableExternalIps: true
      queuedResource: projects/your-project-number/locations/us-central2-b/queuedResources/your-queued-resource-id
      runtimeVersion: tpu-vm-tf-2.10.0
      schedulingConfig: {}
      serviceAccount: {}
      shieldedInstanceConfig: {}
      useTpuVm: true
    nodeId: your-node-id
    parent: projects/your-project-number/locations/us-central2-b

Ressourcenanfragen in der Warteschlange im Projekt auflisten

Der folgende Befehl listet die in der Warteschlange gestellten Ressourcenanfragen im Projekt "your-project-id" auf:

gcloud compute tpus queued-resources list --project your-project-id \
--zone us-central2-b

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central2-b/queuedResources