NVIDIA DGX Systems
NVIDIA DGX™ H100
NVIDIA DGX™ H100
NVIDIA DGX™ H100について
世界のAIインフラを支える新しいエンジンNVIDIA H100を搭載したNVIDIA DGX™ H100は大規模な組織へ最高の AI 環境を提供します。
世界で最も成功したエンタープライズAI専用システムの第4世代です。
NVIDIA DGX™ H100の詳細
-
1
NVIDIA H100 GPU x8
合計 GPU メモリ 640GBGPU あたり 12 NVIDIA® NVLinks®、
GPU 間の双方向帯域幅 900GB/秒 -
2
NVIDIA NVSWITCHES™ x4
7.2 テラバイト/秒の GPU 間双方向帯域幅 、前世代比 1.5 倍以上
-
3
NVIDIA ConnectX-7 Single Port Infiniband Card x8
および、NVIDIA ConnectX-7
Dual Port Ethernet cards x2ピーク時の双方向ネットワーク帯域幅 1TB/秒
-
4
デュアル x86 CPU と
2TB システム メモリAI への依存が非常に高い仕事を
可能にするパワフルな CPU -
5
30TB NVME SSD
最高のパフォーマンスを実現するための
高速ストレージ
NVIDIA DGX™ H100とNVIDIA DGX™ A100の
比較表
Specification | 販売終了 NVIDIA DGX™ A100 |
NVIDIA DGX™ H100 |
---|---|---|
GPUs | 8x NVIDIA A100 GPUs | 8x NVIDIA H100 GPUs |
TFLOPS | 5 Peta FLOPS AI | 32 Peta FLOPS FP8 |
GPU Memory | 80GB per GPU/640 GB per DGX A100 Node |
80GB per GPU/640 GB per DGX H100 Node |
System Memory | 1 TB 3200 MHz DDR4 base config, additional 1TB can be ordered to get to 2TB max |
2TB |
Storage | Data cache drives: 15TB (4x3.84TB gen4 NVME. Can add 15TB optional to get 30TB max) OS drives: 2x 1.92TB NVME SSDs |
Data cache drives: 30TB (8x3.84TB) OS drives: 2x 1.92TB NVME SSDs |
Network | 8x single port NVIDIA ConnectX-6 or ConnectX-7 Ethernet: 200/100/50/40/25/10Gb/s InfiniBand: Up to 200Gbps 2x dual-port NVIDIA ConnectX-6 or ConnectX-7 Ethernet: 200/100/50/40/25/10Gb/s InfiniBand: Up to 200Gbps |
4 x OSFP ports for 8 NVIDIA ConnectX-7 Single Port InfiniBand cards Ethernet: 400/200/100/50/40/25/10Gb/s InfiniBand: Up to 400Gbps 2 x NVIDIA ConnectX-7 Dual Port Ethernet cards Ethernet: 400/200/100/50/40/25/10Gb/s InfiniBand: Up to 400Gbps |
Cooling | Air | Air |
NVIDIA DGX™ A100は販売終了となっています。
NVIDIA DGX™ A100についてはこちら
NVIDIA H100について
NVIDIA H100は、小規模なエンタープライズ・ワークロードからエクサスケールHPC、兆パラメータAIモデルまで、多様なワークロードを安全に高速化します。
800億個のトランジスタを持つ、NVIDIAのためにカスタマイズされたTSMCの4Nプロセスを使用して実装され、多数のアーキテクチャ上の進歩を含むNVIDIA H100は、これまでに作られた中で世界で最も先進的なチップです。
NVIDIA H100の特徴
-
最高のAI/HPC性能
- 4PF FP8 (6X)| 2PF FP16 (3X)| 1PF TF32
(3X)| 60TF FP64 (3X)
3TB/s (1.5X), 80GB HBM3 memory
- 4PF FP8 (6X)| 2PF FP16 (3X)| 1PF TF32
-
TRANFORMER モデルへの最適化
- 6X faster on largest transformer models
-
高い稼働率とセキュリティ
- 7 Fully isolated & secured instances,
guaranteed QoS
2nd Gen MIG | Confidential Computing
- 7 Fully isolated & secured instances,
-
史上最速でスケーラブルな
インターコネクト- 900 GB/s GPU-2-GPU connectivity
(1.5X) up to 256 GPUs with NVLink
Switch | 128GB/s PCI Gen5
- 900 GB/s GPU-2-GPU connectivity