2026Per eseguire AI in locale, scegli prima il modello e il software, poi il PC. “AI” può indicare un assistente testuale, generazione di immagini, trascrizione o addestramento: sono carichi diversi. Una GPU adatta a un piccolo modello linguistico non è automaticamente sufficiente per un altro modello, un contesto molto più lungo o un flusso di lavoro con richieste simultanee.
Definisci un esperimento riproducibile
Scrivi il nome completo del modello, il formato, la quantizzazione e l’applicazione che lo esegue. Aggiungi il tipo di richiesta e la lunghezza del contesto prevista. Per un primo progetto può essere più utile mantenere piccolo l’esperimento e capire i limiti, invece di acquistare subito una workstation per carichi indefiniti.
Se il tuo obiettivo è assistere la programmazione, distingui completamenti brevi da analisi di molti file. La guida al PC da sviluppo aiuta a considerare anche editor, browser e servizi che rimarranno aperti insieme al modello.
La quantizzazione riduce l’occupazione, non ogni costo allo stesso modo
La quantizzazione rappresenta pesi o altri valori con precisione inferiore. La documentazione di Transformers descrive tecniche che riducono l’uso di memoria attraverso rappresentazioni a meno bit. Il compromesso dipende da metodo, modello e compito: non presumere che ogni variante mantenga lo stesso risultato o diventi sempre più veloce.
Un calcolo illustrativo: otto miliardi di pesi memorizzati tutti a quattro bit richiederebbero circa quattro miliardi di byte per quei soli valori. Non è una stima della VRAM completa necessaria per eseguire un modello “8B”: vanno considerati formato, metadati, parti non quantizzate e memoria di esecuzione. Non usare questa divisione come certificazione di compatibilità con una GPU da una certa capacità.
Contesto e richieste simultanee cambiano la memoria
La memoria non ospita soltanto i pesi. In un modello linguistico entrano in gioco anche dati intermedi e contesto. Ollama documenta che aumentare la lunghezza del contesto richiede più memoria; il numero di richieste parallele e i modelli caricati possono aggiungere altre esigenze.
Per questo una prova riuscita con una domanda breve non dimostra che il sistema regga una conversazione lunga o più utenti. Mantieni fissati modello e quantizzazione, poi prova la lunghezza che utilizzerai davvero. Registra eventuali messaggi di memoria insufficiente e il comportamento durante il caricamento, non soltanto la velocità dopo l’avvio.
La guida alla VRAM della scheda video distingue capacità disponibile e prestazioni, evitando di trasformare i gigabyte nell’unico criterio d’acquisto.
Controlla GPU, backend e sistema operativo
Il software deve supportare il modello esatto della GPU con un backend utilizzabile sul tuo sistema. Le liste ufficiali, come quella di Ollama, specificano requisiti e differenze tra famiglie hardware. La sola presenza di molta VRAM non garantisce il supporto dell’applicazione che vuoi usare.
Controlla anche driver e versione del programma prima di interpretare una mancata accelerazione come insufficienza hardware. In Ollama, il comando di lettura ollama ps permette di osservare se il modello è caricato su CPU, GPU o entrambe. È un controllo dell’esecuzione corrente, non un test completo di qualità o di stabilità.
Prevedi RAM e storage oltre la GPU
La memoria di sistema serve al software e alle altre applicazioni, e alcuni flussi possono utilizzare elaborazione o memoria sulla CPU. Il fatto che un carico riesca a funzionare in forma mista non significa che offra la stessa esperienza di un’esecuzione interamente sulla GPU.
Conservare più modelli occupa spazio: varianti, versioni e file scaricati possono accumularsi rapidamente. Scegli la capacità SSD in base a ciò che vuoi mantenere, distinguendo modelli riscaricabili dai tuoi dati e dalle configurazioni importanti.
Confronta hardware dopo aver definito il limite
Le proposte Primi esperimenti AI locali e Workstation AI locale sono esempi di distinta con priorità diverse di memoria video. Non certificano l’esecuzione di qualsiasi modello o modalità di addestramento.
Valuta infine la qualità delle risposte sul tuo compito, non soltanto il tempo necessario a produrle. Annota modello, impostazioni, tempo di caricamento, velocità e risultati utili. Se una variante più piccola risolve bene il problema, può essere preferibile a una più grande che richiede compromessi scomodi. L’obiettivo è un esperimento utile e ripetibile, con limiti conosciuti.