Multi-Instance GPU (MIG) aumenta le prestazioni e il valore delle GPU NVIDIA Blackwell e Hopper™. La tecnologia MIG è in grado di partizionare la GPU in un numero massimo di sette istanze, ciascuna completamente isolata con la memoria a banda elevata, cache e core di elaborazione distinti. Gli amministratori possono ora supportare qualsiasi carico di lavoro, dal più piccolo al più grande, qualità del servizio (QoS) garantita per ogni processo estendendo la portata delle risorse di elaborazione accelerate a tutti gli utenti.
Senza MIG, l'esecuzione di più processi sulla stessa GPU, come diverse richieste di inferenza IA, competono per l'uso delle stesse risorse. Un processo che consuma molta banda di memoria lascia carenza di banda per gli altri, determinando problemi di latenza per diversi processi. Con MIG, i processi vengono eseguiti simultaneamente su diverse istanza, ognuna con risorse dedicate per elaborazione, memoria e banda, generando prestazioni prevedibili con QoS e utilizzo massimo della GPU.
L'architettura Hopper migliora ulteriormente MIG supportando configurazioni multi-tenant e multiutente in ambienti virtualizzati su un massimo di sette istanze GPU, isolando in modo sicuro ciascuna istanza con computing riservato a livello di hardware e hypervisor. I decoder video dedicati per ogni istanza MIG offrono analisi video intelligenti sicure e ad alta produttività (IVA) su infrastruttura condivisa. Con la profilazione MIG simultanea di Hopper, gli amministratori possono monitorare che l'accelerazione con GPU sia correttamente dimensionata e allocare le risorse a più utenti.
Per i ricercatori con carichi di lavoro più piccoli, invece di noleggiare un'istanza cloud completa, è possibile utilizzare MIG per isolare in modo sicuro una parte della GPU, garantendo al contempo che i dati siano al sicuro a riposo, in transito e in uso. Questa maggiore flessibilità permette ai fornitori di servizi cloud di stabilire i prezzi e gestire le opportunità per i clienti più piccoli.
MIG consente il provisioning granulare della GPU ai team IT e DevOps. Ogni istanza MIG si comporta come una GPU standalone per le applicazioni, quindi non c'è alcuna modifica alla piattaforma CUDA®. MIG può essere utilizzata in tutti i principali ambienti di calcolo aziendali.
GB200/B200/B100 | H100 | |
---|---|---|
Confidential computing | Sì | Sì |
Tipi di istanze | Up to 7x 23GB Up to 4x 45GB Up to 2x 95GB Up to 1x 192GB |
7x 10GB 4x 20GB 2x 40GB 1x 80GB |
Profilazione e monitoraggio delle GPU | Simultanei su tutte le istanze | Simultanei su tutte le istanze |
Tenant sicuri | 7x | 7x |
Decoder multimediali | NVJPEG dedicati e NVDEC per istanza | NVJPEG dedicati e NVDEC per istanza |
Specifiche preliminari, soggette a modifica
Scopri di più su NVIDIA Blackwell.