- Home
- iThink
- AI Locale & Agenti
- Ollama requisiti minimi: hardware per un LLM locale
Ollama requisiti minimi: hardware per un LLM locale
Ollama non ha requisiti minimi fissi: il programma gira quasi ovunque, è il modello che scegli a decidere se il tuo computer basta. Un modello da 8 miliardi di parametri sta in un portatile con 16 GB; uno da 70 miliardi chiede una macchina da 64 GB in su. In questo articolo ti spiego come fare il conto prima di scaricare 40 GB di file, perché la velocità dipende dalla banda di memoria più che dal processore, e come scegliere tra un Mac e un PC con scheda video.
Per provare subito con il tuo hardware ho preparato il simulatore AI locale: scegli il tuo Mac o la tua scheda video, la dimensione del modello e la quantizzazione, e vedi se ci sta e quanto corre. Lo trovi anche nella pagina con tutti i simulatori.
Perché Ollama non ha requisiti minimi fissi
Ollama è un programma che scarica ed esegue modelli linguistici sul tuo computer, senza mandare i dati a un servizio esterno. Se non l'hai ancora installato, la guida installare Ollama e un LLM in locale ti accompagna passo per passo.
Il programma in sé occupa poco. Quello che pesa è il modello: miliardi di numeri, i pesi, che devono stare tutti in memoria mentre il modello risponde. Per questo la domanda giusta non è «Ollama gira sul mio PC?» ma «quale modello ci sta, e quanto va veloce?».
Contano tre cose:
- la memoria veloce che hai: la VRAM della scheda video su un PC, la memoria unificata su un Mac con Apple Silicon, la RAM se lavori solo con il processore;
- la dimensione del modello, il numero con la B nel nome:
llama3.1:8bha 8 miliardi di parametri; - la quantizzazione, cioè con quanti bit è salvato ogni peso.
Come si calcola la memoria che serve
La memoria che un modello occupa è la somma di tre parti. Le stesse formule sono scritte, con le fonti, sotto il simulatore AI locale.
- I pesi del modello: miliardi di parametri × bit per peso ÷ 8, in gigabyte. Un modello da 8 miliardi a 16 bit pesa 16 GB; lo stesso modello in Q4_K_M, il formato che Ollama scarica più spesso, circa 4,9 GB.
- La cache del contesto: il modello tiene in memoria quello che ha letto e scritto nella conversazione. Per un modello da 8 miliardi con 8.000 token di contesto è circa 1 GB, e cresce se allarghi il contesto o se il modello è più grande.
- Un margine per il calcolo: qualche centinaio di megabyte di buffer.
A tutto questo aggiungi la memoria che serve al sistema operativo e alle app aperte. Su un Mac la memoria è condivisa tra sistema e modello, quindi non puoi contare su tutti i gigabyte che hai comprato.
Quanta memoria serve, modello per modello
Questa tabella usa le formule del simulatore con quantizzazione Q4_K_M (circa 4,89 bit per peso) e 8.000 token di contesto. Sono stime: i file reali variano di qualche centinaio di megabyte da un modello all'altro.
| Dimensione | Esempi di modelli | Memoria che serve |
|---|---|---|
| 3-4 miliardi | Llama 3.2 3B, Phi-4-mini | circa 3-3,5 GB |
| 7-8 miliardi | Llama 3.1 8B, Qwen3 8B | circa 6,4 GB |
| 12-14 miliardi | Gemma 3 12B, Qwen3 14B | circa 10,4 GB |
| 24-27 miliardi | Mistral Small 24B, Gemma 3 27B | circa 17-19 GB |
| 32 miliardi | Qwen3 32B | circa 22 GB |
| 70 miliardi | Llama 3.3 70B | circa 46 GB |
Le guide di Hostinger danno ordini di grandezza simili: 6-7 GB per la classe 7-8B e 47-52 GB per la classe 70B, sempre in Q4_K_M con contesto da 8.000 token.
Se vuoi il calcolo con i tuoi numeri, apri il simulatore e sposta il cursore della dimensione del modello: vedi subito quando smette di starci.
La velocità la decide la banda di memoria
Per scrivere ogni parola, il modello deve leggere tutti i suoi pesi dalla memoria. Il limite non è quanto calcola il processore, ma quanti gigabyte al secondo riesce a leggere: la banda di memoria. Il tetto teorico si ottiene così:
In formula: token al secondo ≈ banda di memoria ÷ peso del modello.
Qualche esempio con i dati dei produttori e un modello da 8 miliardi in Q4 (circa 4,9 GB):
- Mac con M4, 120 GB/s: circa 25 token al secondo al massimo;
- PC con RTX 3060 12 GB, 360 GB/s: circa 74 token al secondo;
- PC senza scheda video con due banchi DDR5-5600, 89,6 GB/s di picco: circa 18 token al secondo.
Sono tetti: nella pratica si va più piano. Servono a confrontare due macchine, non a promettere un numero. La regola però resta: tra due computer con la stessa memoria, quello con più banda risponde più in fretta.
Mac o PC con scheda video?
È la domanda che mi fanno più spesso, e la risposta dipende da cosa vuoi far girare.
- Una scheda video ha molta banda: una RTX 4090 arriva a 1.008 GB/s, una RTX 5090 a 1.792 GB/s. Con i modelli che ci stanno è velocissima. Il limite è la VRAM: 12, 16, 24 o 32 GB, e salire costa molto.
- Un Mac con Apple Silicon usa la stessa memoria per processore e grafica. Un M4 Max arriva a 128 GB con 546 GB/s: ci fai girare un modello da 70 miliardi, cosa impossibile su una sola scheda video da gaming, ma più piano.
Se il tuo lavoro chiede modelli fino a 14 miliardi di parametri, una scheda video da 16 GB va benissimo e corre. Se ti servono modelli da 30-70 miliardi, un Mac con molta memoria è spesso la strada più semplice. Prova le due configurazioni nel simulatore AI locale con lo stesso modello e confronta memoria e velocità.
Come fare: scegliere il modello giusto passo per passo
- Parti dall'uso. Riassunti e bozze di email: bastano 7-8 miliardi di parametri. Analisi di documenti lunghi o codice: meglio 14-32 miliardi.
- Guarda la tua memoria. Su Windows trovi la VRAM in Gestione attività, scheda Prestazioni, voce GPU. Su Mac, in Informazioni su questo Mac.
- Fai il conto nel simulatore. Scegli il preset più vicino al tuo hardware, imposta il modello e la quantizzazione, controlla quanta memoria resta.
- Lascia spazio al contesto. Se lavori con documenti lunghi, alza il contesto nel simulatore: la memoria che serve sale.
- Scarica e prova. Con Ollama,
ollama run qwen3:8bscarica e avvia il modello;ollama psti dice quanta memoria occupa e se gira tutto sulla scheda video («100% GPU») o in parte sul processore.
Errori da evitare
- Guardare i core invece della memoria. Un processore potente con 8 GB di VRAM fa girare modelli piccoli; per quelli grandi serve memoria.
- Riempire la memoria fino all'ultimo gigabyte. Se il modello non ci sta tutto, Ollama ne sposta una parte sul processore e la velocità crolla. Il punto di partenza utile è lasciare libero almeno un gigabyte.
- Scendere troppo con la quantizzazione. Sotto i 4 bit per peso il modello occupa meno ma sbaglia di più, soprattutto se è piccolo. Meglio un modello più piccolo in Q4 che uno grande in Q2.
- Dimenticare il contesto. Con 32.000 o più token la cache del contesto può pesare diversi gigabyte: un modello che stava con 4.000 token può non starci più.
- Comprare hardware senza fare il conto. Prima di spendere, prova nel simulatore il modello che ti serve davvero sulle due o tre macchine che stai valutando.
Consigli pratici
- Su un Mac lascia a macOS almeno un quarto della memoria: nel simulatore i preset dei Mac lo fanno già, e puoi cambiarlo.
- Chiudi browser e app pesanti mentre usi un modello grande: liberi memoria e il modello resta tutto sulla scheda video.
- Per lavorare su documenti aziendali parti da un modello da 8 miliardi; se le risposte non bastano, sali di dimensione prima di alzare la quantizzazione.
- Se in azienda più persone devono usare lo stesso modello, ogni richiesta in parallelo occupa altra memoria per il contesto: conta un margine in più.
- Tieni d'occhio i rischi dei modelli scaricati da internet: ne parlo nell'articolo sui modelli aperti senza filtri.
Domande frequenti
Quanta RAM serve per usare Ollama?
Per un modello da 7-8 miliardi di parametri in Q4 servono circa 6-7 GB liberi, quindi un computer con 16 GB è il minimo comodo. Per modelli da 14 miliardi conta su 12 GB liberi, per quelli da 32 miliardi su circa 22 GB.
Ollama funziona senza scheda video?
Sì, usa il processore e la RAM. Funziona, ma più piano: la RAM di un PC ha molta meno banda della VRAM di una scheda video. Con un modello da 8 miliardi il tetto teorico su due banchi DDR5 è sotto i 20 token al secondo.
Quanta VRAM serve per un modello da 70 miliardi di parametri?
In Q4 circa 46 GB con 8.000 token di contesto: non ci sta in una sola scheda video da gaming. Servono due schede, una scheda professionale o un Mac con almeno 64 GB di memoria unificata.
Cosa cambia tra Q4_K_M e Q8_0?
Q4_K_M salva ogni peso con circa 4,9 bit, Q8_0 con 8,5. Il modello in Q8 occupa quasi il doppio, è un po' più preciso e va più piano perché c'è più memoria da leggere per ogni token.
Il simulatore mi dice la velocità reale?
No, ti dice il tetto teorico. Serve a capire se un modello ci sta e a confrontare due macchine; la velocità reale la misuri dopo con Ollama.
Prova il tuo hardware
Apri il simulatore AI locale, scegli il preset più vicino al tuo computer e prova i modelli che ti interessano. Se stai valutando un'AI che gira nei tuoi uffici, con i dati che non escono dall'azienda, ti aiuto a scegliere hardware e modello per i tuoi casi d'uso nel servizio chatbot e agenti AI.
Fonti
- Apple, presentazione di M4 Pro e M4 Max (banda di M4, M4 Pro e M4 Max) e presentazione di M5.
- llama.cpp, strumento di quantizzazione: formati GGUF e bit per peso.
- Hostinger, Ollama GPU requirements: stime di memoria per classe di modello.






