I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza e garantendo sicurezza avanzata. La nuova generazione di Tensor Core è più veloce che mai su una gamma più ampia di attività IA e HPC. Con accelerazioni 4 volte superiori nel training di modelli IA generativi con miliardi di parametri e prestazioni di inferenza 45 volte superiori, gli NVIDIA Tensor Core accelerano tutti i carichi di lavoro per le moderne fabbriche IA.
L'architettura Blackwell offre un'accelerazione 30 volte superiore rispetto alla precedente generazione di NVIDIA Hopper™ per modelli massicci come GPT-MoE-1.8T. Questo aumento delle prestazioni è possibile grazie alla quinta generazione di Tensor Core. I Tensor Core di Blackwell aggiungono nuove precisioni, inclusi i formati di microscaling definiti dalla community, garantendo maggiore precisione e facilità di sostituzione per precisioni più elevate.
Man mano che i modelli di IA generativa aumentano in dimensioni e complessità, è fondamentale migliorare le prestazioni di training e inferenza. Per soddisfare queste esigenze di calcolo, i Tensor Core di Blackwell supportano tutti i nuovi formati di quantizzazione e di precisione inclusi i formati di microscaling definiti dalla community.
Il Transformer Engine di seconda generazione impiega la tecnologia Blackwell Tensor Core abbinata ai framework innovativi NVIDIA® TensorRT™-LLM e NeMo™ per accelerare l'inferenza e il training dei modelli linguistici di grandi dimensioni (LLM) e dei modelli MoE. Il Transformer Engine è alimentato dalla precisione FP4 dei Tensor Core, il che raddoppia le prestazioni e l'efficienza mantenendo un'elevata precisione per i modelli MoE attuali e di nuova generazione.
Il motore di IA generativa lavora per democratizzare gli LLM di oggi con prestazioni in tempo reale. Le aziende possono ottimizzare i processi aziendali distribuendo modelli di IA generativa all'avanguardia a costi convenienti.
Dall'introduzione della tecnologia Tensor Core, le GPU NVIDIA Hopper hanno aumentato le prestazioni di picco di 60 volte, favorendo la democratizzazione del computing per IA e HPC. L'architettura NVIDIA Hopper™ potenzia i Tensor Core di quarta generazione con il Transformer Engine utilizzando una nuova precisione a virgola mobile a 8 bit (FP8) per fornire prestazioni 6 volte superiori rispetto alla FP16 per il training di modelli con miliardi di parametri. Insieme alle prestazioni 3 volte superiori con precisioni TF32, FP64, FP16 e INT8, i Tensor Core Hopper offrono le massime accelerazioni a tutti i carichi di lavoro.
I Tensor Core sono gli elementi costitutivi essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dal catalogo NVIDIA NGC™. Come piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.
Blackwell | Hopper | |
---|---|---|
Precisioni supportate con Tensor Core | FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4 | FP64, TF32, BF16, FP16, FP8, INT8 |
Precisioni supportate con CUDA® Core | FP64, FP32, FP16, BF16 | FP64, FP32, FP16, BF16, INT8 |
*Specifiche preliminari, soggette a modifica
Scopri di più su NVIDIA Blackwell.