NVIDIA - H100 188GB PCIe 5.0

La NVIDIA H100 Tensor Core GPU offre prestazioni, scalabilità e sicurezza eccezionali per una vasta gamma di carichi di lavoro nei data center.

Caratteristiche principali:

• Architettura NVIDIA Hopper™: La H100 introduce innovazioni significative basate sull'architettura NVIDIA Hopper™, migliorando notevolmente le prestazioni rispetto alle generazioni precedenti.

• Transformer Engine dedicato: Progettato per gestire modelli di linguaggio di grandi dimensioni (LLM) con miliardi di parametri, accelerando l'IA conversazionale fino a 30 volte rispetto alla generazione precedente.

• NVIDIA NVLink™ Switch System: Consente di collegare fino a 256 GPU H100, facilitando l'accelerazione di carichi di lavoro su scala exascale.

Specifiche tecniche:

• Prestazioni di calcolo:

  • FP64 (doppia precisione): 67 teraFLOPS
  • FP32 (precisione singola): 60 teraFLOPS
  • TF32 Tensor Core: 1.000 teraFLOPS (con sparsity)
  • FP16 Tensor Core: 2.000 teraFLOPS (con sparsity)
  • INT8 Tensor Core: 4.000 teraFLOPS (con sparsity)

• Memoria GPU:

  • Capacità: 80 GB HBM3
  • Banda di memoria: 3 TB/s

• Connettività:

  • Interconnessione: NVIDIA NVLink con larghezza di banda fino a 900 GB/s
  • Interfaccia: PCIe Gen5

• Consumo energetico:

  • TDP (Thermal Design Power): 700 W

Applicazioni tipiche:

• Intelligenza artificiale avanzata: Accelerazione del training e dell'inferenza di modelli IA su larga scala.

• Calcolo ad alte prestazioni (HPC): Esecuzione di simulazioni scientifiche e analisi complesse.

• Analisi dei dati: Elaborazione rapida di grandi dataset per ottenere insight significativi.

La NVIDIA H100 rappresenta un salto generazionale nel computing accelerato, offrendo una combinazione senza precedenti di prestazioni, efficienza e scalabilità per soddisfare le esigenze dei moderni data center. 

Specifiche tecniche

• Fattore di forma:
  H100 PCIe

• Prestazioni di calcolo:

  • FP64: 26 teraFLOPS
  • FP64 Tensor Core: 51 teraFLOPS
  • FP32: 51 teraFLOPS
  • TF32 Tensor Core: 756 teraFLOPS*
  • BFLOAT16 Tensor Core: 1.513 teraFLOPS*
  • FP16 Tensor Core: 1.513 teraFLOPS*
  • FP8 Tensor Core: 3.026 teraFLOPS*
  • INT8 Tensor Core: 3.026 TOPS*

• Memoria GPU:
  80 GB

• Banda di memoria GPU:
  2 TB/s

• Decoder:

  • NVDEC: 7
  • JPEG: 7

• Consumo energetico:

  • TDP: Configurabile tra 300-350 W

• Multi-Instance GPU (MIG):
  Fino a 14 MIGs da 12 GB ciascuno

• Raffreddamento:
  Raffreddamento ad aria a doppio slot

• Interconnessione:

  • NVLink: 600 GB/s
  • PCIe Gen5: 128 GB/s

*Note:

1. Le prestazioni con l'asterisco (*) sono calcolate con l'ottimizzazione della densità (sparsity).
2. Questa configurazione è adatta per applicazioni di intelligenza artificiale, analisi dei dati e virtualizzazione con una maggiore flessibilità per i server PCIe.

La NVIDIA H100 PCIe combina efficienza e potenza per data center moderni, mantenendo un'alta densità di calcolo con un consumo energetico configurabile.