生成 AI の新時代にパワーを与えます。
GB200 NVL72 は、36 個の Grace CPU と 72 個の Blackwell GPU を 1 つラックスケール デザインで接続します。GB200 NVL72 は、水冷式ラックスケール ソリューションで、72-GPU NVLink ドメインが 1 つの巨大 GPU として機能し、兆単位パラメーター LLM 推論のリアルタイム性を 30 倍高速化します。
GB200 Grace Blackwell Superchip は、NVIDIA GB200 NVL72 の主要コンポーネントであり、NVIDIA® NVLink®-C2C インターコネクトを使用して、2 基の高性能 NVIDIA Blackwell Tensor コア GPU と NVIDIA Grace CPU を 2 基の Blackwell GPU に接続します。
ハイライト
LLM 推論とエネルギー効率: TTL = 50ミリ秒 (ms)、FTL = 5s、32,768 入力/1,024 出力、NVIDIA HGX™ H100 を InfiniBand (IB) でスケール vs. GB200 NVL72、トレーニング 1.8T MOE 4096x HGX H100 でスケール IB vs. 456x GB200 NVL72 でスケール IB。クラスター サイズ: 32,768
TPC-H Q4 クエリから派生した Snappy/Deflate 圧縮によるデータベースの結合と集約のワークロード。x86、H100 シングル GPU、および GB200 NLV72 vs. Intel Xeon 8480+ のシングル GPU のカスタム クエリ実装
予想されるパフォーマンスは変更される可能性があります。
特長
仕様
GB200 NVL72 | GB200 Grace Blackwell Superchip | |
構成 | 36 Grace CPU : 72 Blackwell GPU | 1 Grace CPU : 2 Blackwell GPU |
FP4 Tensor Core2 | 1,440 PFLOPS | 40 PFLOPS |
FP8/FP6 Tensor Core2 | 720 PFLOPS | 20 PFLOPS |
INT8 Tensor Core2 | 720 POPS | 20 POPS |
FP16/BF16 Tensor コア2 | 360 PFLOPS | 10 PFLOPS |
TF32 Tensor コア | 180 PFLOPS | 5 PFLOPS |
FP32 | 6,480 TFLOPS | 180 TFLOPS |
FP64 | 3,240 TFLOPS | 90 TFLOPS |
FP64 Tensor Core | 3,240 TFLOPS | 90 TFLOPS |
GPU メモリ帯域幅 | 最大 13.5 TB HBM3e | 576 TB/秒 | 最大 384 GB HBM3e | 16 TB/秒 |
NVLink メモリ帯域幅 | 130TB/秒 | 3.6 TB/秒 |
CPU コア数 | 2592 個の Arm® Neoverse V2 コア | 72 Arm Neoverse V2 コア |
CPU メモリ帯域幅 | 最大 17 TB LPDDR5X | 最高 18.4 TB/秒 | 最大 480GB LPDDR5X | 最高 512 GB/秒 |
1. 参考仕様。変更される場合があります。 |
今すぐ始める
登録すると、NVIDIA Blackwell の販売開始時にお知らせいたします。