Basta una RTX 5090 per l'AI in locale?

Il mito del raddoppio: perché due schede non fanno il doppio della memoria, e cosa decide davvero quando l’AI deve servire tutta l’azienda.

La richiesta arriva in una riunione qualunque: l’AI sui nostri documenti entro fine anno, e nessun byte deve uscire dall’azienda. Poi, la sera, il configuratore aperto e la domanda che chiunque abbia dimensionato una workstation per l’AI in locale si è fatto almeno una volta: basta una RTX 5090? O ne servono due? O conviene la scheda professionale, quella RTX PRO 5000 da 72 GB che sulla carta sembra la risposta a tutto?

È una domanda legittima, e la risposta cambia da azienda ad azienda. Non dipende dal budget, o almeno non prima di tutto. Dipende da tre cose che nessun configuratore ti chiede: quale modello ti serve davvero, quante persone lo useranno nello stesso momento, per quante ore al giorno la macchina dovrà lavorare. In questo articolo mettiamo in fila le configurazioni possibili con i numeri veri, senza sommare VRAM sul foglio e senza promettere che una workstation fa girare qualsiasi modello.

Il mito del raddoppio

Partiamo dalla convinzione più diffusa, perché è quella che costa di più: due schede da 32 GB fanno una scheda da 64 GB. Sul foglio sì. Nella macchina, no.

Il motivo è che le due GPU non condividono la memoria: ognuna vede solo la sua. Per anni il ponte NVLink permetteva a due schede di lavorare quasi come una; oggi NVLink è rimasto alle GPU da data center, come le H200 montate nei server. Su una workstation, la RTX 5090 come la RTX PRO 5000 parlano con il resto del sistema soltanto attraverso il bus PCIe.

Questo non significa che un modello grande non possa usare due schede. Con i motori di inferenza più diffusi un LLM si può spalmare su due GPU: metà dei layer su una e metà sull’altra, oppure ogni operazione divisa tra le due. Funziona, ed è la strada normale per far girare un 70B su due schede da 32 GB. Ma ogni token generato richiede uno scambio tra le due schede, e quello scambio passa per il PCIe, che è decine di volte più lento della memoria interna di una GPU.

C’è poi un dettaglio che nei forum si scopre a macchina già comprata. NVIDIA riserva la comunicazione diretta scheda-a-scheda sul bus, il cosiddetto peer-to-peer, alle GPU professionali e da data center: sulle GeForce non è supportata. Due RTX 5090 che si dividono un modello non si parlano direttamente, passano dalla memoria di sistema attraverso il processore. Due RTX PRO, invece, sì. È una differenza che non compare in nessuna tabella di specifiche, e che pesa esattamente nel caso in cui compri due schede per far girare un modello solo.

Per i modelli generativi di immagini e video il discorso è ancora più netto: il singolo modello deve stare tutto in una scheda. La seconda GPU serve per un secondo lavoro in parallelo, non per allargare la prima.

Cosa decide davvero: il modello, le persone, le ore

Quando si parla di AI in locale la prima domanda è sempre la stessa: quanta VRAM? È la domanda giusta, ma va completata. La memoria della GPU deve contenere due cose: i pesi del modello, che sono fissi, e la memoria di lavoro delle conversazioni in corso, la KV cache, che cresce con ogni utente collegato e con ogni pagina di contesto che gli passi.

I pesi si stimano bene. Un modello da 32 miliardi di parametri quantizzato a 4 bit, il formato più usato per l’inferenza locale, occupa circa 20 GB. Un 70B nello stesso formato circa 40 GB. Se il modello non ci sta, non gira: o va in out-of-memory, o scarica una parte sul processore e diventa lento al punto da essere inutilizzabile in azienda.

La KV cache, invece, è quella che trasforma il modello ci sta in il team ci sta. Per un modello di classe 70B ogni token di contesto costa circa un terzo di megabyte: una conversazione con 8.000 token di contesto, un paio di documenti più lo storico della chat, occupa circa 2,6 GB. Per un 32B poco più di 2 GB. Cinque persone che interrogano il RAG sui documenti aziendali nello stesso momento, con contesti di quella lunghezza, chiedono alla scheda dai 10 ai 13 GB oltre ai pesi. Dieci persone, il doppio. È qui che una GPU sufficiente sulla carta comincia a rifiutare richieste alle undici del mattino.

La terza variabile è il tempo. Un modello che usi per prototipare due ore al giorno e un assistente che risponde a trenta colleghi otto ore al giorno, cinque giorni a settimana, sono due carichi diversi anche a parità di VRAM. Nel secondo caso contano cose che nel primo non vedi: la memoria con correzione degli errori, la termica sotto carico continuo, i driver certificati. E se il tuo obiettivo è addestrare o mettere a punto un modello, il dimensionamento cambia ancora: ne abbiamo parlato nell’articolo Addestrare un modello AI sui tuoi dati.

Basta una RTX 5090?

Più spesso di quanto si pensi, sì. La RTX 5090 ha 32 GB di GDDR7 e una banda di memoria di 1.792 GB/s, e nella generazione di testo la banda è ciò che conta: ogni token richiede di rileggere tutti i pesi del modello. Su un 32B quantizzato è una delle schede più veloci che si possano mettere in una workstation, punto.

I 32 GB, tolti i circa 20 dei pesi, lasciano una decina di GB alla cache: quattro o cinque persone con contesti da 8.000 token, oppure una sola persona con un contesto molto lungo. Per uno studio professionale, un ufficio tecnico, una PMI che parte con un assistente interno e il RAG sui documenti, questa è spesso la configurazione giusta, e non c’è motivo di andare oltre.

Dove finisce: sul 70B, che nei 32 GB non entra se non con quantizzazioni aggressive che ne peggiorano la qualità, e sulla concorrenza, quando gli utenti simultanei diventano dieci o i contesti si allungano. Non è un limite della scheda, è la sua misura.

La piattaforma, in questo caso, è quella di una workstation di fascia alta: processore Core Ultra o Ryzen 9, un solo slot PCIe 5.0 x16 pieno, alimentatore con margine abbondante sui 575 W della scheda (NVIDIA indica 1.000 W come minimo di sistema, e noi restiamo sempre sopra i minimi). La trovi tra le nostre workstation professionali progettate anche per l’AI in locale.

Due RTX 5090: la seconda scheda non si aggiunge, si progetta

Due 5090 sono 64 GB di VRAM e, su due istanze indipendenti, il doppio dei token al secondo di una scheda sola. È una configurazione che monta bene e lavora bene. A patto di capire che la seconda scheda non si aggiunge a una workstation nata per una GPU sola: è un cambio di classe della piattaforma.

Primo, la potenza. Due 5090 sono 1.150 W di sole schede video; con un processore adeguato e il resto del sistema, sotto carico si superano i 1.500 W. Un alimentatore da 1.600 W lavora al limite, e un alimentatore al limite è la prima causa di instabilità in una macchina che deve restare accesa tutto il giorno. In laboratorio, per questa configurazione, usiamo un 2.200 W Platinum. Non per eccesso di zelo: perché l’alimentazione, in una macchina del genere, va sovradimensionata.

Secondo, il calore. Le 5090 scaricano il calore dentro la macchina. Con una scheda il case lo smaltisce senza problemi; con due, le schede vanno distanziate e serve un case progettato per muovere molta aria. Fatto così, un sistema a doppia GPU lavora bene anche in ufficio, senza bisogno di una sala macchine. Fatto in un case pensato per una scheda sola, rallenta sotto carico, o si spegne.

Terzo, la piattaforma. Su una piattaforma Core Ultra o Ryzen 9 le due 5090, quando entrano, restano attaccate l’una all’altra: la scheda sopra respira l’aria calda di quella sotto, le temperature salgono, la GPU rallenta per proteggersi e l’affidabilità nel tempo ne risente. Per questo, per due 5090, progettiamo solo su piattaforma Threadripper: ha le corsie PCIe per far lavorare entrambe le schede a piena velocità e lo spazio per montarle correttamente distanziate. È da lì che nascono i racconti di due 5090 che vanno meno di una: non dalle schede, dalla distanza tra loro.

Cosa ci fai, con due 5090 progettate bene. La cosa migliore: due istanze indipendenti. Un assistente interno su una scheda, il RAG sui documenti sull’altra, otto o dieci persone servite senza che le due GPU debbano mai parlarsi. Oppure il 70B spalmato sulle due, con circa 20 GB per la cache: funziona e va veloce, tenendo presente il pedaggio del peer-to-peer di cui parlavamo sopra. Quello che non hai: memoria ECC e driver enterprise, che su una macchina da otto ore al giorno per trenta persone non sono un dettaglio.

RTX PRO 5000 72 GB: il 70B intero su una scheda sola

La RTX PRO 5000 Blackwell nella versione da 72 GB cambia i termini del problema. Stessa GPU della versione da 48 GB, 14.080 CUDA core e 1.344 GB/s di banda, ma con 72 GB di GDDR7 con correzione degli errori, in una scheda a due slot da 300 W con dissipatore che espelle l’aria dal retro. Un 70B quantizzato a 4 bit ci sta intero, con circa 30 GB liberi per la cache: una decina di persone con contesti da 8.000 token, su un modello di classe superiore. Con un 32B, la stessa scheda serve un ufficio intero.

Il prezzo da pagare è la velocità del singolo utente: la banda è più bassa di quella della 5090, e in single-stream la 5090 genera token più in fretta, indicativamente di un terzo. Con più utenti in parallelo il divario si riduce, perché il carico non è più solo di memoria ma anche di calcolo. Per un assistente aziendale, dove nessuno legge più veloce di venti token al secondo, la differenza non si vede. Per chi fa girare batch notturni di elaborazione, sì.

Quello che ottieni in cambio è una piattaforma diversa. Trecento watt su una scheda a due slot con scarico posteriore significano una workstation su Core Ultra o Ryzen 9, silenziosa, che sta sotto una scrivania e non richiede un alimentatore da server. Significano anche un percorso di crescita: quando il team raddoppia, la seconda RTX PRO 5000 si aggiunge sulla stessa piattaforma, a x8 e x8. Due schede con questo dissipatore possono stare vicine, perché l’aria calda esce dal retro invece di finire sulla scheda accanto, e si parlano direttamente sul bus, perché sulla famiglia RTX PRO il peer-to-peer è supportato.

Le corsie a x8, per l’inferenza, non sono un limite finché ogni modello sta nella memoria della propria scheda: sul bus passano solo le domande e le risposte. Il limite si sente quando i dati lo attraversano di continuo: un modello diviso tra le due schede, oppure un modello che non entra nella VRAM e lavora appoggiandosi alla memoria di sistema, come accade spesso con i modelli di generazione video. In quei casi servono le corsie piene, cioè Threadripper fin dall’inizio: una scelta, non una scoperta.

C’è infine una funzione che le GeForce non hanno: MIG, Multi-Instance GPU. La RTX PRO 5000 si può dividere in due istanze isolate a livello hardware, ciascuna con la sua memoria e i suoi core: due carichi diversi su una scheda sola, con la garanzia che uno non rallenti l’altro. Va detto con chiarezza: MIG funziona solo su Linux e, sulle schede Workstation, richiede di impostare la GPU in modalità calcolo, cioè senza uscita video. È una funzione da server AI in sala macchine, non da PC con il monitor attaccato. Ma per chi ha quel tipo di installazione, è un vantaggio che due 5090 non possono offrire.

RTX PRO 6000 96 GB: quando il team, o il modello, crescono ancora

Sopra la RTX PRO 5000 c’è una sola scheda da workstation, e resta nella stessa famiglia: la RTX PRO 6000 Blackwell da 96 GB. Ha 24.064 CUDA core, più della 5090, e la stessa banda di memoria, 1.792 GB/s: per il singolo utente va come una 5090, con il triplo della memoria, la correzione degli errori e i driver enterprise. Un 70B quantizzato a 4 bit occupa meno della metà della scheda, e i circa 56 GB che restano bastano a una ventina di persone con contesti da 8.000 token. Ci stanno anche modelli di classe superiore al 70B, che su qualsiasi altra scheda singola non entrano.

Esiste in due versioni con la stessa GPU e la stessa memoria. La Workstation Edition da 600 W, a due slot, è la scheda più veloce che si possa montare in una workstation: da sola, su Core Ultra o Ryzen 9, con un alimentatore progettato per quei 600 W. La Max-Q da 300 W, con scarico posteriore, rinuncia a un po’ di velocità in cambio della densità: NVIDIA la dichiara scalabile fino a quattro schede nella stessa macchina, che significa Threadripper, corsie piene e schede distanziate. In entrambe il peer-to-peer tra schede è supportato.

MIG qui arriva a quattro istanze isolate, con gli stessi vincoli visti sopra: Linux e GPU in modalità calcolo. Una sola scheda diventa quattro GPU indipendenti, ognuna con la sua memoria: l’assistente interno, il RAG sui documenti, un carico batch notturno e uno spazio per i test, senza che uno rallenti l’altro. È la risposta quando la domanda non è più "una scheda o due" ma "una macchina sola per tutta l’azienda".

Le configurazioni a confronto

I numeri della tabella sono indicativi: modelli quantizzati a 4 bit, contesti da 8.000 token per utente, cache non quantizzata. Servono a capire la classe di ogni scelta, non a sostituire un dimensionamento sul tuo caso.

	1 x RTX 5090	2 x RTX 5090	1 x RTX PRO 5000 72 GB	1 x RTX PRO 6000 96 GB
VRAM totale	32 GB	64 GB (32 + 32, non condivisi)	72 GB ECC	96 GB ECC
Modello tipico	fino a 32B	70B spalmato su due schede, oppure due 32B indipendenti	70B intero su una scheda	70B con contesto ampio, o modelli di classe superiore
Utenti simultanei (indicativo)	4-5 su un 32B	7-8 su un 70B; 8-10 su due 32B	10-12 su un 70B; oltre 15 su un 32B	una ventina su un 70B
Velocità singolo utente	la più alta	la più alta su istanze separate; pedaggio PCIe sul modello diviso	circa un quarto in meno della 5090	come la 5090 (stessa banda)
Potenza GPU	575 W	1.150 W	300 W	600 W (300 W nella versione Max-Q)
Piattaforma	Core Ultra / Ryzen 9	solo Threadripper, alimentazione da 2.200 W, case progettato per il flusso d’aria	Core Ultra / Ryzen 9, o Threadripper per due o più schede	Core Ultra / Ryzen 9 con alimentazione progettata per i 600 W, o Threadripper per due o più schede
Comunicazione tra GPU	non serve	via memoria di sistema (niente peer-to-peer)	peer-to-peer su PCIe con una seconda RTX PRO	peer-to-peer su PCIe
ECC e driver enterprise	no	no	sì	sì
Partizionamento MIG	no	no	2 istanze (solo Linux, GPU in modalità calcolo)	fino a 4 istanze (solo Linux, GPU in modalità calcolo)
Crescita futura	la seconda scheda richiede un cambio di piattaforma	già al massimo pratico per una workstation	seconda scheda sulla stessa piattaforma; più schede su Threadripper	fino a quattro schede Max-Q su Threadripper

Una lettura veloce della tabella dice che vince la scheda con più memoria. Non è così, o non sempre. Se il tuo lavoro è un modello da 32B per cinque persone, la 5090 singola è la risposta migliore, e andare oltre non ti dà nulla. Se il tuo lavoro sono due carichi pesanti in parallelo e la velocità conta più del silenzio, due 5090 progettate bene sono difficili da battere. La tabella serve a scegliere la classe giusta, non la scheda più grande.

Gli errori più comuni

Non sono errori di chi compra. Sono informazioni che nessun configuratore mostra e che si scoprono, di solito, a macchina accesa.

Errore 1: sommare la VRAM sul foglio

Due schede da 32 GB si comprano pensando a un 70B che gira come su una scheda da 64. Poi si scopre che il modello gira, ma ogni token fa avanti e indietro sul PCIe passando dal processore, e che per un modello di immagini la seconda scheda non serve a nulla. La VRAM si somma solo per i carichi che si possono dividere, e mai gratis.

Errore 2: dimensionare sul modello e non sul team

Il modello ci sta, il collaudo va bene con una persona, e la macchina va in produzione. Tre settimane dopo sono in dodici a interrogarla e le richieste cominciano a fallire. Non è un difetto: è la KV cache che ha finito lo spazio. Il dimensionamento si fa sul picco di utenti simultanei con i loro contesti reali, non sul numero di parametri.

Errore 3: aggiungere la seconda scheda a una piattaforma nata per una

La seconda 5090 finisce in una macchina nata per una scheda sola, attaccata alla prima: respira la sua aria calda, rallenta per proteggersi e nel tempo si logora, con l’alimentatore al limite. La doppia GPU si progetta dal processore in su: piattaforma, spazio tra le schede, alimentazione, case.

Errore 4: guardare solo i token al secondo

I token al secondo di un singolo utente sono il numero più citato e il meno rappresentativo di un carico aziendale. Un assistente che serve trenta persone otto ore al giorno vive di memoria con correzione degli errori, di termica sotto carico continuo e di driver stabili molto più che di un 30 per cento di velocità in più sulla singola risposta.

Errore 5: credere a chi promette che fa girare qualsiasi modello

Nessuna workstation fa girare qualsiasi modello. Ogni configurazione ha una misura, e la misura va detta prima, in chiaro: quale modello, quante persone, quante ore. Chi non te la dice, non l’ha calcolata.

Le domande che ti fa un esperto

Prima di proporre una delle tre configurazioni, un nostro esperto ti fa alcune domande. Non sono domande sull’hardware: sono domande sul tuo lavoro.

Quale qualità di risposta ti serve? Per molti carichi aziendali un 32B ben scelto basta; un 70B si giustifica quando la differenza si vede sui tuoi documenti, e si prova prima, non si presume.
Quante persone nello stesso momento? Non quante hanno l’accesso: quante interrogano il modello alle undici del mattino, quando il picco è più alto.
Quanto sono lunghi i documenti che passi al modello? Un capitolato da ottanta pagine e una mail sono due contesti diversi, e la cache lo sa.
Quante ore al giorno lavorerà la macchina? Due ore di prototipazione e otto ore di servizio continuo chiedono componenti diversi, non solo più VRAM.
Windows o Linux? Alcuni strumenti, MIG per primo, esistono solo su Linux; la scelta del sistema operativo cambia ciò che la scheda può fare.
Dove vivrà la macchina? Sotto una scrivania in ufficio o in una sala macchine: rumore, alimentazione e raffreddamento si progettano per quel posto.
Come cresce il team nei prossimi 24 mesi? È la domanda che decide se la piattaforma di oggi reggerà la seconda scheda di domani, o se andrà rifatta.

Il punto

In una riga: la 5090 basta più spesso di quanto si creda; due 5090 sono una piattaforma, non una scheda in più; la RTX PRO 5000 da 72 GB è la scelta che fa dormire tranquilla un’azienda che serve un team sui propri dati e vuole crescere senza rifare la macchina; quando team e modello crescono ancora, la RTX PRO 6000 da 96 GB è il passo successivo sulla stessa logica.

Ma la riga giusta per te la scrive il tuo lavoro, non una tabella. È lo stesso motivo per cui i quattro limiti delle workstation di marca pesano ancora di più quando si parla di AI: nessun configuratore standard ti chiede quante persone useranno il modello nello stesso momento, e nessuno progetta una dual GPU con l’aria e l’alimentazione che servono. Una workstation per l’AI in locale si dimensiona sul carico reale, si progetta intorno alle schede scelte e si prepara a crescere. In quest’ordine.

Dati tecnici: specifiche ufficiali NVIDIA (GeForce RTX 5090, RTX PRO 5000 Blackwell), documentazione NVIDIA Multi-Instance GPU, forum sviluppatori NVIDIA. Stime di occupazione memoria calcolate sulla formula della KV cache pubblicata da NVIDIA. Aggiornato a settembre 2026.

Hai bisogno di una workstation per l’AI sui tuoi dati aziendali?

Raccontaci quale modello vuoi far girare, quante persone lo useranno e per quante ore al giorno: progetteremo la workstation giusta per il tuo lavoro, con la scheda, la piattaforma e il margine di crescita che servono davvero.

Parla con un esperto

Continua a leggere: LLM in locale: 6 domande prima di scegliere l’hardware

Tag : Ai in azienda, Dual gpu, Gpu per ai, Inferenza llm, Llm in locale, Local llm, Rag, Rtx 5090, Rtx pro 5000, Rtx pro 6000, Vram per llm, Workstation ai

Pubblicato in: Workstation