NVIDIA - H200 NVL 141GB PCIe 5.0

La NVIDIA H200 NVL è una GPU basata sull'architettura NVIDIA Hopper™, progettata per potenziare carichi di lavoro di Intelligenza Artificiale (IA) generativa e High-Performance Computing (HPC). È la prima GPU a integrare 141 GB di memoria HBM3e, offrendo una larghezza di banda di 4,8 TB/s, quasi il doppio della capacità della precedente GPU NVIDIA H100 Tensor Core. Questa memoria più ampia e veloce accelera l'IA generativa e i modelli linguistici di grandi dimensioni (LLM), migliorando al contempo il calcolo scientifico per i carichi di lavoro HPC.

Caratteristiche Principali

• Memoria HBM3e da 141 GB: Offre una larghezza di banda di 4,8 TB/s, raddoppiando la capacità rispetto alla precedente generazione, ideale per gestire modelli IA di grandi dimensioni e carichi di lavoro HPC intensivi.
• Prestazioni di Calcolo Elevate: Con 60 TFLOPS in precisione FP32 e fino a 3,341 TFLOPS in precisione FP8, la H200 NVL è progettata per accelerare applicazioni IA e scientifiche complesse.
• Supporto NVLink: Permette la connessione di più GPU con una larghezza di banda fino a 900 GB/s, facilitando la scalabilità in ambienti di data center.
• Efficienza Energetica: Nonostante le elevate prestazioni, mantiene un consumo energetico configurabile fino a 600 W, ottimizzando il rapporto tra potenza e prestazioni.
• Multi-Instance GPU (MIG): Consente la suddivisione della GPU in fino a 7 istanze separate, migliorando l'efficienza nell'esecuzione di carichi di lavoro multipli.

Specifiche Tecniche

Processore Grafico

• Architettura: NVIDIA Hopper™
• Nome GPU: GH100
• Processo Produttivo: TSMC 5 nm
• Numero di Transistor: 80 miliardi
• Dimensioni del Die: 814 mm²

Memoria

• Capacità: 141 GB HBM3e
• Larghezza di Banda: 4,8 TB/s
• Bus di Memoria: 5.120 bit

Prestazioni

• FP64: 30 TFLOPS
• FP64 Tensor Core: 60 TFLOPS
• FP32: 60 TFLOPS
• TF32 Tensor Core: 835 TFLOPS (con sparsity)
• BFLOAT16 Tensor Core: 1.671 TFLOPS (con sparsity)
• FP16 Tensor Core: 1.671 TFLOPS (con sparsity)
• FP8 Tensor Core: 3.341 TFLOPS (con sparsity)
• INT8 Tensor Core: 3.341 TOPS (con sparsity)

Cache

• Cache L1: 256 KB per Streaming Multiprocessor (SM)
• Cache L2: 50 MB

Connettività

• Interfaccia: PCIe 5.0 x16
• Interconnessione: Supporto per NVIDIA NVLink™ con larghezza di banda fino a 900 GB/s

Consumo Energetico

• TDP Massimo: Fino a 600 W (configurabile)
• Connettori di Alimentazione: 1 x 8-pin EPS

Dimensioni

• Lunghezza: 267 mm
• Larghezza: 111 mm
• Spessore: Doppio slot

Altro

• Decoder: 7 NVDEC, 7 JPEG
• Supporto per Multi-Instance GPU (MIG): Fino a 7 istanze da 16,5 GB ciascuna
• Fattore di Forma: PCIe
• Supporto per Confidential Computing: Sì

La NVIDIA H200 NVL rappresenta un significativo avanzamento nel campo delle GPU per data center, offrendo una combinazione di memoria estesa, elevate capacità di calcolo e funzionalità avanzate come NVLink e MIG.

Queste caratteristiche la rendono una soluzione ideale per applicazioni di IA generativa, modelli linguistici di grandi dimensioni e carichi di lavoro HPC, garantendo prestazioni superiori e scalabilità in ambienti aziendali e scientifici.