Basta una RTX 5090 per l'AI in locale?

Il mito del raddoppio: perché due schede non fanno il doppio della memoria, e cosa decide davvero quando l’AI deve servire tutta l’azienda.

La richiesta arriva in una riunione qualunque: l’AI sui nostri documenti entro fine anno, e nessun byte deve uscire dall’azienda. Poi, la sera, il configuratore aperto e la domanda che chiunque abbia dimensionato una workstation per l’AI in locale si è fatto almeno una volta: basta una RTX 5090? O ne servono due? O conviene la scheda professionale, quella RTX PRO 5000 da 72 GB che sulla carta sembra la risposta a tutto?

È una domanda legittima, e la risposta cambia da azienda ad azienda. Non dipende dal budget, o almeno non prima di tutto. Dipende da tre cose che nessun configuratore ti chiede: quale modello ti serve davvero, quante persone lo useranno nello stesso momento, per quante ore al giorno la macchina dovrà lavorare. In questo articolo mettiamo in fila le configurazioni possibili con i numeri veri, senza sommare VRAM sul foglio e senza promettere che una workstation fa girare qualsiasi modello.

Il mito del raddoppio

Partiamo dalla convinzione più diffusa, perché è quella che costa di più: due schede da 32 GB fanno una scheda da 64 GB. Sul foglio sì. Nella macchina, no.

Il motivo è che le due GPU non condividono la memoria: ognuna vede solo la sua. Per anni il ponte NVLink permetteva a due schede di lavorare quasi come una; oggi NVLink è rimasto alle GPU da data center, come le H200 montate nei server. Su una workstation, la RTX 5090 come la RTX PRO 5000 parlano con il resto del sistema soltanto attraverso il bus PCIe.

Questo non significa che un modello grande non possa usare due schede. Con i motori di inferenza più diffusi un LLM si può spalmare su due GPU: metà dei layer su una e metà sull’altra, oppure ogni operazione divisa tra le due. Funziona, ed è la strada normale per far girare un 70B su due schede da 32 GB. Ma ogni token generato richiede uno scambio tra le due schede, e quello scambio passa per il PCIe, che è decine di volte più lento della memoria interna di una GPU.

C’è poi un dettaglio che nei forum si scopre a macchina già comprata. NVIDIA riserva la comunicazione diretta scheda-a-scheda sul bus, il cosiddetto peer-to-peer, alle GPU professionali e da data center: sulle GeForce non è supportata. Due RTX 5090 che si dividono un modello non si parlano direttamente, passano dalla memoria di sistema attraverso il processore. Due RTX PRO, invece, sì. È una differenza che non compare in nessuna tabella di specifiche, e che pesa esattamente nel caso in cui compri due schede per far girare un modello solo.

Per i modelli generativi di immagini e video il discorso è ancora più netto: il singolo modello deve stare tutto in una scheda. La seconda GPU serve per un secondo lavoro in parallelo, non per allargare la prima.

Cosa decide davvero: il modello, le persone, le ore

Quando si parla di AI in locale la prima domanda è sempre la stessa: quanta VRAM? È la domanda giusta, ma va completata. La memoria della GPU deve contenere due cose: i pesi del modello, che sono fissi, e la memoria di lavoro delle conversazioni in corso, la KV cache, che cresce con ogni utente collegato e con ogni pagina di contesto che gli passi.

I pesi si stimano bene. Un modello da 32 miliardi di parametri quantizzato a 4 bit, il formato più usato per l’inferenza locale, occupa circa 20 GB. Un 70B nello stesso formato circa 40 GB. Se il modello non ci sta, non gira: o va in out-of-memory, o scarica una parte sul processore e diventa lento al punto da essere inutilizzabile in azienda.

La KV cache, invece, è quella che trasforma il modello ci sta in il team ci sta. Per un modello di classe 70B ogni token di contesto costa circa un terzo di megabyte: una conversazione con 8.000 token di contesto, un paio di documenti più lo storico della chat, occupa circa 2,6 GB. Per un 32B poco più di 2 GB. Cinque persone che interrogano il RAG sui documenti aziendali nello stesso momento, con contesti di quella lunghezza, chiedono alla scheda dai 10 ai 13 GB oltre ai pesi. Dieci persone, il doppio. È qui che una GPU sufficiente sulla carta comincia a rifiutare richieste alle undici del mattino.

La terza variabile è il tempo. Un modello che usi per prototipare due ore al giorno e un assistente che risponde a trenta colleghi otto ore al giorno, cinque giorni a settimana, sono due carichi diversi anche a parità di VRAM. Nel secondo caso contano cose che nel primo non vedi: la memoria con correzione degli errori, la termica sotto carico continuo, i driver certificati. E se il tuo obiettivo è addestrare o mettere a punto un modello, il dimensionamento cambia ancora: ne abbiamo parlato nell’articolo Addestrare un modello AI sui tuoi dati.

Basta una RTX 5090?

Più spesso di quanto si pensi, sì. La RTX 5090 ha 32 GB di GDDR7 e una banda di memoria di 1.792 GB/s, e nella generazione di testo la banda è ciò che conta: ogni token richiede di rileggere tutti i pesi del modello. Su un 32B quantizzato è una delle schede più veloci che si possano mettere in una workstation, punto.

I 32 GB, tolti i circa 20 dei pesi, lasciano una decina di GB alla cache: quattro o cinque persone con contesti da 8.000 token, oppure una sola persona con un contesto molto lungo. Per uno studio professionale, un ufficio tecnico, una PMI che parte con un assistente interno e il RAG sui documenti, questa è spesso la configurazione giusta, e non c’è motivo di andare oltre.

Dove finisce: sul 70B, che nei 32 GB non entra se non con quantizzazioni aggressive che ne peggiorano la qualità, e sulla concorrenza, quando gli utenti simultanei diventano dieci o i contesti si allungano. Non è un limite della scheda, è la sua misura.

La piattaforma, in questo caso, è quella di una workstation di fascia alta: processore Core Ultra o Ryzen 9, un solo slot PCIe 5.0 x16 pieno, alimentatore con margine abbondante sui 575 W della scheda (NVIDIA indica 1.000 W come minimo di sistema, e noi restiamo sempre sopra i minimi). La trovi tra le nostre workstation professionali progettate anche per l’AI in locale.

Due RTX 5090: la seconda scheda non si aggiunge, si progetta

Due 5090 sono 64 GB di VRAM e, su due istanze indipendenti, il doppio dei token al secondo di una scheda sola. È una configurazione che monta bene e lavora bene. A patto di capire che la seconda scheda non si aggiunge a una workstation nata per una GPU sola: è un cambio di classe della piattaforma.

Primo, la potenza. Due 5090 sono 1.150 W di sole schede video; con un processore adeguato e il resto del sistema, sotto carico si superano i 1.500 W. Un alimentatore da 1.600 W lavora al limite, e un alimentatore al limite è la prima causa di instabilità in una macchina che deve restare accesa tutto il giorno. In laboratorio, per questa configurazione, usiamo un 2.200 W Platinum. Non per eccesso di zelo: perché l’alimentazione, in una macchina del genere, va sovradimensionata.

Secondo, il calore. Le 5090 scaricano il calore dentro la macchina. Con una scheda il case lo smaltisce senza problemi; con due, le schede vanno distanziate e serve un case progettato per muovere molta aria. Fatto così, un sistema a doppia GPU lavora bene anche in ufficio, senza bisogno di una sala macchine. Fatto in un case pensato per una scheda sola, rallenta sotto carico, o si spegne.

Terzo, la piattaforma. Su una piattaforma Core Ultra o Ryzen 9 le due 5090, quando entrano, restano attaccate l’una all’altra: la scheda sopra respira l’aria calda di quella sotto, le temperature salgono, la GPU rallenta per proteggersi e l’affidabilità nel tempo ne risente. Per questo, per due 5090, progettiamo solo su piattaforma Threadripper: ha le corsie PCIe per far lavorare entrambe le schede a piena velocità e lo spazio per montarle correttamente distanziate. È da lì che nascono i racconti di due 5090 che vanno meno di una: non dalle schede, dalla distanza tra loro.

Cosa ci fai, con due 5090 progettate bene. La cosa migliore: due istanze indipendenti. Un assistente interno su una scheda, il RAG sui documenti sull’altra, otto o dieci persone servite senza che le due GPU debbano mai parlarsi. Oppure il 70B spalmato sulle due, con circa 20 GB per la cache: funziona e va veloce, tenendo presente il pedaggio del peer-to-peer di cui parlavamo sopra. Quello che non hai: memoria ECC e driver enterprise, che su una macchina da otto ore al giorno per trenta persone non sono un dettaglio.

Le configurazioni a confronto

I numeri della tabella sono indicativi: modelli quantizzati a 4 bit, contesti da 8.000 token per utente, cache non quantizzata. Servono a capire la classe di ogni scelta, non a sostituire un dimensionamento sul tuo caso.

Una lettura veloce della tabella dice che vince la scheda con più memoria. Non è così, o non sempre. Se il tuo lavoro è un modello da 32B per cinque persone, la 5090 singola è la risposta migliore, e andare oltre non ti dà nulla. Se il tuo lavoro sono due carichi pesanti in parallelo e la velocità conta più del silenzio, due 5090 progettate bene sono difficili da battere. La tabella serve a scegliere la classe giusta, non la scheda più grande.

Gli errori più comuni

Non sono errori di chi compra. Sono informazioni che nessun configuratore mostra e che si scoprono, di solito, a macchina accesa.

Errore 1: sommare la VRAM sul foglio

Due schede da 32 GB si comprano pensando a un 70B che gira come su una scheda da 64. Poi si scopre che il modello gira, ma ogni token fa avanti e indietro sul PCIe passando dal processore, e che per un modello di immagini la seconda scheda non serve a nulla. La VRAM si somma solo per i carichi che si possono dividere, e mai gratis.

Errore 2: dimensionare sul modello e non sul team

Il modello ci sta, il collaudo va bene con una persona, e la macchina va in produzione. Tre settimane dopo sono in dodici a interrogarla e le richieste cominciano a fallire. Non è un difetto: è la KV cache che ha finito lo spazio. Il dimensionamento si fa sul picco di utenti simultanei con i loro contesti reali, non sul numero di parametri.

Errore 3: aggiungere la seconda scheda a una piattaforma nata per una

La seconda 5090 finisce in una macchina nata per una scheda sola, attaccata alla prima: respira la sua aria calda, rallenta per proteggersi e nel tempo si logora, con l’alimentatore al limite. La doppia GPU si progetta dal processore in su: piattaforma, spazio tra le schede, alimentazione, case.

Errore 4: guardare solo i token al secondo

I token al secondo di un singolo utente sono il numero più citato e il meno rappresentativo di un carico aziendale. Un assistente che serve trenta persone otto ore al giorno vive di memoria con correzione degli errori, di termica sotto carico continuo e di driver stabili molto più che di un 30 per cento di velocità in più sulla singola risposta.

Errore 5: credere a chi promette che fa girare qualsiasi modello

Nessuna workstation fa girare qualsiasi modello. Ogni configurazione ha una misura, e la misura va detta prima, in chiaro: quale modello, quante persone, quante ore. Chi non te la dice, non l’ha calcolata.

Le domande che ti fa un esperto

Prima di proporre una delle tre configurazioni, un nostro esperto ti fa alcune domande. Non sono domande sull’hardware: sono domande sul tuo lavoro.

• Quale qualità di risposta ti serve? Per molti carichi aziendali un 32B ben scelto basta; un 70B si giustifica quando la differenza si vede sui tuoi documenti, e si prova prima, non si presume.
• Quante persone nello stesso momento? Non quante hanno l’accesso: quante interrogano il modello alle undici del mattino, quando il picco è più alto.
• Quanto sono lunghi i documenti che passi al modello? Un capitolato da ottanta pagine e una mail sono due contesti diversi, e la cache lo sa.
• Quante ore al giorno lavorerà la macchina? Due ore di prototipazione e otto ore di servizio continuo chiedono componenti diversi, non solo più VRAM.
• Windows o Linux? Alcuni strumenti, MIG per primo, esistono solo su Linux; la scelta del sistema operativo cambia ciò che la scheda può fare.
• Dove vivrà la macchina? Sotto una scrivania in ufficio o in una sala macchine: rumore, alimentazione e raffreddamento si progettano per quel posto.
• Come cresce il team nei prossimi 24 mesi? È la domanda che decide se la piattaforma di oggi reggerà la seconda scheda di domani, o se andrà rifatta.

Il punto

In una riga: la 5090 basta più spesso di quanto si creda; due 5090 sono una piattaforma, non una scheda in più; la RTX PRO 5000 da 72 GB è la scelta che fa dormire tranquilla un’azienda che serve un team sui propri dati e vuole crescere senza rifare la macchina; quando team e modello crescono ancora, la RTX PRO 6000 da 96 GB è il passo successivo sulla stessa logica.

Ma la riga giusta per te la scrive il tuo lavoro, non una tabella. È lo stesso motivo per cui i quattro limiti delle workstation di marca pesano ancora di più quando si parla di AI: nessun configuratore standard ti chiede quante persone useranno il modello nello stesso momento, e nessuno progetta una dual GPU con l’aria e l’alimentazione che servono. Una workstation per l’AI in locale si dimensiona sul carico reale, si progetta intorno alle schede scelte e si prepara a crescere. In quest’ordine.

Dati tecnici: specifiche ufficiali NVIDIA (GeForce RTX 5090, RTX PRO 5000 Blackwell), documentazione NVIDIA Multi-Instance GPU, forum sviluppatori NVIDIA. Stime di occupazione memoria calcolate sulla formula della KV cache pubblicata da NVIDIA. Aggiornato a settembre 2026.

Continua a leggere: LLM in locale: 6 domande prima di scegliere l’hardware