La plataforma de computación de IA líder en el mundo.
La IA, las simulaciones complejas y los conjuntos de datos masivos requieren múltiples GPU con interconexiones extremadamente rápidas y una pila de software totalmente acelerada. La plataforma de supercomputación de IA NVIDIA HGX™ reúne toda la potencia de las GPU de NVIDIA, NVLink®, las redes NVIDIA y pilas de software de computación de alto rendimiento (HPC) e IA totalmente optimizadas para proporcionar el mayor rendimiento de las aplicaciones e impulsar el tiempo más rápido para obtener información.
NVIDIA HGX B200 y HGX B100 integran las GPU NVIDIA Blackwell Tensor Core con interconexiones de alta velocidad para impulsar el data center hacia una nueva era de computación acelerada e IA generativa. Como plataforma de escalamiento acelerado de primer nivel con hasta 15 veces más rendimiento de inferencia que la generación anterior, los sistemas HGX basados en Blackwell están diseñados para las cargas de trabajo de HPC, análisis de datos y IA generativa más exigentes.
NVIDIA HGX H200 combina las GPU H200 Tensor Core con interconexiones de alta velocidad para ofrecer rendimiento, escalabilidad y seguridad extraordinarios para cada data center. Las configuraciones de hasta ocho GPU ofrecen una aceleración sin precedentes, con la increíble cifra de 32 petaFLOPS de rendimiento para crear la plataforma de servidor escalable
Tanto la HGX H200 como la HGX H100 incluyen opciones de red avanzadas, a velocidades de hasta 400 gigabits por segundo (Gb/s), utilizando NVIDIA Quantum-2 InfiniBand y Spectrum™-X Ethernet para obtener el mayor rendimiento de IA. HGX H200 y HGX H100 también incluyen unidades de procesamiento de datos (DPU) NVIDIA® BlueField®-3 para permitir redes en la nube, almacenamiento componible, seguridad de confianza cero y elasticidad de computación de GPU en nubes de IA a hiperescala.
Rendimiento proyectado sujeto a cambios. Latencia de token a token (TTL) = 50 milisegundos ( ms ) en tiempo real, latencia del primer token (FTL) = 5 s, longitud de la secuencia de entrada = 32 768, longitud de la secuencia de salida = 1028, 8 GPU NVIDIA HGX™ H100 de ocho vías enfriado frente a 1x HGX B200 de ocho vías enfriado por aire, según comparación de rendimiento de GPU.
HGX B200 logra un rendimiento de inferencia hasta 15 veces mayor que la generación anterior de NVIDIA Hopper™ para modelos masivos como GPT-MoE-1.8T. El Transformer Engine de segunda generación utiliza la tecnología personalizada Blackwell Tensor Core combinada con las innovaciones TensorRT™-LLM y Framework Nemo™ para acelerar la inferencia para grandes modelos de lenguajes(LLM) y modelos de mezcla de expertos ( MoE ).
Rendimiento proyectado sujeto a cambios. Escala de 32,768 GPU, clúster refrigerado por aire HGX H100 de ocho vías 4096x: red InfiniBand (IB) de 400G, clúster HGX B200 refrigerado por aire de 4096x ocho vías: red IB de 400G.
El Transformer Engine de segunda generación, con punto flotante de 8 bits (FP8) y nuevas precisiones, permite un entrenamiento notablemente 3 veces más rápido para grandes modelos de lenguaje como GPT-MoE-1.8T. Este avance se complementa con NVLink de quinta generación con 1,8TB/s de interconexión de GPU a GPU, redes InfiniBand y software NVIDIA Magnum IO™. Juntos, garantizan una escalabilidad eficiente para las empresas y amplios clústeres de computación de GPU.
El data center es la nueva unidad de computación y las redes desempeñan un papel integral en la ampliación del rendimiento de las aplicaciones en todo él. Junto con NVIDIA Quantum InfiniBand, HGX ofrece rendimiento y eficiencia de clase mundial, lo que garantiza la utilización completa de los recursos informáticos.
Para los data centers en la nube de IA que implementan Ethernet, HGX se utiliza mejor con la plataforma de red NVIDIA Spectrum-X, que impulsa el rendimiento de IA más alto a través de Ethernet de 400 Gb/s. Con conmutadores NVIDIA Spectrum™-4 y DPU BlueField-3, Spectrum-X ofrece resultados consistentes y predecibles para miles de trabajos de IA simultáneos en todas las escalas a través de una utilización óptima de los recursos y el aislamiento del rendimiento. Spectrum-X permite una seguridad avanzada de múltiples inquilinos y de confianza cero en la nube. Como diseño de referencia para NVIDIA Spectrum-X, NVIDIA ha diseñado Israel-1, una supercomputadora de IA generativa a hiperescala construida con servidores Dell PowerEdge XE9680 basados en la plataforma NVIDIA HGX H200 o H100 de ocho GPU, DPU BlueField-3 y Switches Spectrum-4.
Plataforma NVIDIA Quantum-2 InfiniBand: Switch Quantum-2, Adaptador ConnectX-7, DPU BlueField-3 |
Plataforma NVIDIA Spectrum-X: Spectrum-4, DPU BlueField -3, licencia Spectrum-X |
Plataforma Ethernet NVIDIA Spectrum: Switch Spectrum, Adaptador ConnectX , DPU BlueField |
|
---|---|---|---|
Entrenamiento de Deep Learning | Excelente | Óptimo | Bien |
Simulación Científica | Excelente | Óptimo | Bien |
Análisis de Datos | Excelente | Óptimo | Bien |
Inferencia de Deep Learning | Excelente | Óptimo | Bien |
NVIDIA HGX está disponible en placas base individuales con cuatro GPU H200 o H100 u ocho GPU H200, H100, B200 o B100. Estas poderosas combinaciones de hardware y software sientan las bases para un rendimiento de supercomputación de IA sin precedentes.
HGX B200 | HGX B100 | |
---|---|---|
GPU | 8 GPU HGX B200 | 8 GPU HGX B100 |
Formato | 8 NVIDIA B200 SXM | 8 NVIDIA B100 SXM |
HPC e IA (FP64/TF32/FP16/FP8/FP4)* | 320TF/18PF/36PF/72PF/144PF | 240TF/14PF/28PF/56PF/112PF |
Memoria | Hasta 1,5TB | Hasta 1,5TB |
NVIDIA NVLink | Quinta generación | Quinta generación |
NVIDIA NVSwitch™ | Cuarta generación | Cuarta generación |
NVSwitch de Ancho de Banda de GPU a GPU | 1,8TB/s | 1,8TB/s |
Ancho de Banda Agregado Total | 14,4TB/s | 14,4TB/s |
* HGX H200 | ||||
---|---|---|---|---|
4 GPU | 8 GPU | |||
GPU | 4 GPU HGX H200 | 8 GPU HGX H200 | ||
Formato | 4 NVIDIA H200 SXM | 8 NVIDIA H200 SXM | ||
HPC e IA (FP64/TF32/FP16/FP8/INT8)* | 268TF/4PF/8PF/16PF/16 POPS | 535TF/8PF/16PF/32PF/32 POPS | ||
Memoria | Hasta 564GB | Hasta 1,1TB | ||
NVLink | Cuarta generación | Cuarta generación | ||
NVSwitch | N/D | Third generation | ||
NVSwitch de Ancho de Banda de GPU a GPU | N/D | 900GB/s | ||
Ancho de Banda Agregado Total | 3,6TB/s | 7,2TB/s |
* HGX H100 | ||||
---|---|---|---|---|
4 GPU | 8 GPU | |||
GPU | 4 GPU HGX H100 | 8 GPU HGX H100 | ||
Formato | 4 NVIDIA H100 SXM | 8 NVIDIA H100 SXM | ||
HPC e IA (FP64/TF32/FP16/FP8/INT8)* | 268TF/4PF/8PF/16PF/16 POPS | 535TF/8PF/16PF/32PF/32 POPS | ||
Memoria | Hasta 320GB | Hasta 640GB | ||
NVLink | Cuarta generación | Cuarta generación | ||
NVSwitch | N/D | Tercera generación | ||
Swithc NVLink | N/D | N/D | ||
NVSwitch de Ancho de Banda de GPU a GPU | N/D | 900GB/s | ||
Ancho de Banda Agregado Total | 3,6TB/s | 7,2TB/s |
* Con escasez
Obtenga más información sobre la GPU NVIDIA H200 Tensor Core.