Supercomputadora de IA NVIDIA HGX

La plataforma de computación de IA líder en el mundo.

Diseñado Específicamente para IA y HPC

La IA, las simulaciones complejas y los conjuntos de datos masivos requieren múltiples GPU con interconexiones extremadamente rápidas y una pila de software totalmente acelerada. La plataforma de supercomputación de IA NVIDIA HGX™ reúne toda la potencia de las GPU de NVIDIA, NVLink®, las redes NVIDIA y pilas de software de computación de alto rendimiento (HPC) e IA totalmente optimizadas para proporcionar el mayor rendimiento de las aplicaciones e impulsar el tiempo más rápido para obtener información.

Plataforma Incomparable de Computación Acelerada de Extremo a Extremo

NVIDIA HGX B200 y HGX B100 integran las GPU NVIDIA Blackwell Tensor Core con interconexiones de alta velocidad para impulsar el data center hacia una nueva era de computación acelerada e IA generativa. Como plataforma de escalamiento acelerado de primer nivel con hasta 15 veces más rendimiento de inferencia que la generación anterior, los sistemas HGX basados en Blackwell están diseñados para las cargas de trabajo de HPC, análisis de datos y IA generativa más exigentes.

NVIDIA HGX H200 combina las GPU H200 Tensor Core con interconexiones de alta velocidad para ofrecer rendimiento, escalabilidad y seguridad extraordinarios para cada data center. Las configuraciones de hasta ocho GPU ofrecen una aceleración sin precedentes, con la increíble cifra de 32 petaFLOPS de rendimiento para crear la plataforma de servidor escalable

Tanto la HGX H200 como la HGX H100 incluyen opciones de red avanzadas, a velocidades de hasta 400 gigabits por segundo (Gb/s), utilizando NVIDIA Quantum-2 InfiniBand y Spectrum™-X Ethernet para obtener el mayor rendimiento de IA. HGX H200 y HGX H100 también incluyen unidades de procesamiento de datos (DPU) NVIDIA® BlueField®-3 para permitir redes en la nube, almacenamiento componible, seguridad de confianza cero y elasticidad de computación de GPU en nubes de IA a hiperescala.

HGX Stack

Inferencia de Deep Learning: Rendimiento y Versatilidad

Inferencia en Tiempo Real para la Próxima Generación de Grandes Modelos de Lenguaje

Rendimiento proyectado sujeto a cambios. Latencia de token a token (TTL) = 50 milisegundos ( ms ) en tiempo real, latencia del primer token (FTL) = 5 s, longitud de la secuencia de entrada = 32 768, longitud de la secuencia de salida = 1028, 8 GPU NVIDIA HGX™ H100 de ocho vías enfriado frente a 1x HGX B200 de ocho vías enfriado por aire, según comparación de rendimiento de GPU.

HGX B200 logra un rendimiento de inferencia hasta 15 veces mayor que la generación anterior de NVIDIA Hopper™ para modelos masivos como GPT-MoE-1.8T. El Transformer Engine de segunda generación utiliza la tecnología personalizada Blackwell Tensor Core combinada con las innovaciones TensorRT™-LLM y Framework Nemo™ para acelerar la inferencia para grandes modelos de lenguajes(LLM) y modelos de mezcla de expertos ( MoE ).

Capacitación en Deep Learning: Rendimiento y Escalabilidad

Rendimiento de Entrenamiento de Siguiente Nivel

Rendimiento proyectado sujeto a cambios. Escala de 32,768 GPU, clúster refrigerado por aire HGX H100 de ocho vías 4096x: red InfiniBand (IB) de 400G, clúster HGX B200 refrigerado por aire de 4096x ocho vías: red IB de 400G.

El Transformer Engine de segunda generación, con punto flotante de 8 bits (FP8) y nuevas precisiones, permite un entrenamiento notablemente 3 veces más rápido para grandes modelos de lenguaje como GPT-MoE-1.8T. Este avance se complementa con NVLink de quinta generación con 1,8TB/s de interconexión de GPU a GPU, redes InfiniBand y software NVIDIA Magnum IO™. Juntos, garantizan una escalabilidad eficiente para las empresas y amplios clústeres de computación de GPU.

Acelerando HGX con NVIDIA Networking

El data center es la nueva unidad de computación y las redes desempeñan un papel integral en la ampliación del rendimiento de las aplicaciones en todo él. Junto con NVIDIA Quantum InfiniBand, HGX ofrece rendimiento y eficiencia de clase mundial, lo que garantiza la utilización completa de los recursos informáticos.

Para los data centers en la nube de IA que implementan Ethernet, HGX se utiliza mejor con la plataforma de red NVIDIA Spectrum-X, que impulsa el rendimiento de IA más alto a través de Ethernet de 400 Gb/s. Con conmutadores NVIDIA Spectrum™-4 y DPU BlueField-3, Spectrum-X ofrece resultados consistentes y predecibles para miles de trabajos de IA simultáneos en todas las escalas a través de una utilización óptima de los recursos y el aislamiento del rendimiento. Spectrum-X permite una seguridad avanzada de múltiples inquilinos y de confianza cero en la nube. Como diseño de referencia para NVIDIA Spectrum-X, NVIDIA ha diseñado Israel-1, una supercomputadora de IA generativa a hiperescala construida con servidores Dell PowerEdge XE9680 basados en la plataforma NVIDIA HGX H200 o H100 de ocho GPU, DPU BlueField-3 y Switches Spectrum-4.

Conexión de HGX con Redes NVIDIA

  Plataforma NVIDIA Quantum-2 InfiniBand:

Switch Quantum-2, Adaptador ConnectX-7, DPU BlueField-3

Plataforma NVIDIA Spectrum-X:

Spectrum-4, DPU BlueField -3, licencia Spectrum-X

Plataforma Ethernet NVIDIA Spectrum:

Switch Spectrum, Adaptador ConnectX , DPU BlueField

Entrenamiento de Deep Learning Excelente Óptimo Bien
Simulación Científica Excelente Óptimo Bien
Análisis de Datos Excelente Óptimo Bien
Inferencia de Deep Learning Excelente Óptimo Bien

Especificaciones de NVIDIA HGX

NVIDIA HGX está disponible en placas base individuales con cuatro GPU H200 o H100 u ocho GPU H200, H100, B200 o B100. Estas poderosas combinaciones de hardware y software sientan las bases para un rendimiento de supercomputación de IA sin precedentes.

  HGX B200 HGX B100
GPU 8 GPU HGX B200 8 GPU HGX B100
Formato 8 NVIDIA B200 SXM 8 NVIDIA B100 SXM
HPC e IA (FP64/TF32/FP16/FP8/FP4)* 320TF/18PF/36PF/72PF/144PF 240TF/14PF/28PF/56PF/112PF
Memoria Hasta 1,5TB Hasta 1,5TB
NVIDIA NVLink Quinta generación Quinta generación
NVIDIA NVSwitch™ Cuarta generación Cuarta generación
NVSwitch de Ancho de Banda de GPU a GPU 1,8TB/s 1,8TB/s
Ancho de Banda Agregado Total 14,4TB/s 14,4TB/s
  * HGX H200
  4 GPU 8 GPU
GPU 4 GPU HGX H200 8 GPU HGX H200
Formato 4 NVIDIA H200 SXM 8 NVIDIA H200 SXM
HPC e IA (FP64/TF32/FP16/FP8/INT8)* 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memoria Hasta 564GB Hasta 1,1TB
NVLink Cuarta generación Cuarta generación
NVSwitch N/D Third generation
NVSwitch de Ancho de Banda de GPU a GPU N/D 900GB/s
Ancho de Banda Agregado Total 3,6TB/s 7,2TB/s
  * HGX H100
  4 GPU 8 GPU
GPU 4 GPU HGX H100 8 GPU HGX H100
Formato 4 NVIDIA H100 SXM 8 NVIDIA H100 SXM
HPC e IA (FP64/TF32/FP16/FP8/INT8)* 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memoria Hasta 320GB Hasta 640GB
NVLink Cuarta generación Cuarta generación
NVSwitch N/D Tercera generación
Swithc NVLink N/D N/D
NVSwitch de Ancho de Banda de GPU a GPU N/D 900GB/s
Ancho de Banda Agregado Total 3,6TB/s 7,2TB/s

Obtenga más información sobre la GPU NVIDIA H200 Tensor Core.