1. Home
  2. Agenzia
  3. Simulatori
  4. Simulatore AI locale
Simulatore · LLM locale, memoria e velocità

Simulatore AI locale: quale LLM gira sul tuo hardware

Scegli il tuo Mac o la tua scheda video, la dimensione del modello e la quantizzazione: vedi quanta memoria serve, se ci sta e quanti token al secondo puoi aspettarti al massimo. Prima di comprare hardware o di scaricare 40 GB di modello.

Simulatore

Legge nel browser il nome della scheda video e propone i valori. Non invia niente.

Il tuo hardware

Su un PC con scheda video conta la VRAM della scheda. Su un Mac con Apple Silicon conta la memoria unificata. Senza scheda video, la RAM.

Quello che serve al sistema operativo, al browser e alle altre app mentre il modello gira.

La trovi nelle specifiche del chip o della scheda video: decide la velocità più della potenza di calcolo.

Il modello

Il numero con la B nel nome: «8B» sono 8 miliardi di parametri.

Formati GGUF di llama.cpp e Ollama: Q4_K_M circa 4,89 · Q5_K_M circa 5,70 · Q8_0 8,50 · F16 16.

Quanto testo il modello tiene a mente insieme: domanda, documenti allegati e risposta. Più contesto, più memoria.

Il modello sul tuo hardware

Modello più grande che ci sta miliardi di parametri16,5
Memoria che serve GB6,4
Memoria che resta GB5,6
Velocità massima teorica token al secondo25
Pesi del modello GB4,9
Cache del contesto GB1,0

Come si riempie la memoria

  • Pesi del modello
  • Cache del contesto
  • Buffer
  • Libera

Un modello da 8,0 miliardi di parametri a 4,9 bit occupa circa 6,4 GB con questo contesto: ci sta, e restano 5,6 GB. Il tetto teorico è circa 25 token al secondo; nella pratica di solito si va più piano.

È una stima per i modelli densi in formato GGUF. Non considera i modelli a esperti (MoE), il caricamento parziale su processore, la cache del contesto compressa e la velocità con cui il modello legge il prompt.

Modelli compatibili

Quali modelli scaricare, con i tuoi numeri

Cerco tra i modelli GGUF di testo più scaricati su Hugging Face, pubblicati da autori noti (lmstudio-community, ggml-org, unsloth, Qwen), e ti mostro quelli che stanno nella memoria del simulatore, con la quantizzazione e il contesto che hai scelto.

L'elenco si carica da solo quando usi il simulatore (rilevi il computer, scegli la memoria o sposti un cursore), oppure con il pulsante: il tuo browser chiede l'elenco pubblico a huggingface.co, che vede il tuo indirizzo IP come ogni sito che visiti. I numeri del simulatore non vengono inviati. Clicca su un modello per provarlo nel simulatore.

  • DeepSeek
  • Qwen
  • Ollama
  • Unsloth

    Come si calcola

    Tutto parte dalla memoria.

    Un modello gira bene solo se pesi e contesto stanno tutti nella memoria più veloce che hai: la VRAM della scheda video o la memoria unificata del Mac. Una volta dentro, la velocità la decide la banda.

    Pesi del modellomiliardi di parametri × bit per peso ÷ 8 (GB)
    Cache del contestomigliaia di token × 0,125 GB × √(miliardi di parametri ÷ 8)
    Buffer di calcolo0,5 GB, una stima fissa
    Memoria che servepesi + cache del contesto + buffer
    Memoria disponibilememoria per il modello − memoria lasciata al sistema
    Modello più grandela dimensione con cui la memoria che serve è uguale a quella disponibile
    Velocità massima teoricabanda di memoria ÷ pesi del modello: per ogni token il modello legge tutti i pesi
    Come leggere i risultati

    La memoria decide cosa gira, la banda quanto corre.

    Se non ci sta, rallenta molto

    Ollama e llama.cpp possono spostare una parte del modello nella RAM e farla calcolare al processore. Funziona, ma quella parte va alla velocità della RAM, spesso dieci volte meno della VRAM.

    Q4 è il compromesso più usato

    A 4-5 bit per peso un modello occupa circa un terzo della versione a 16 bit e perde poco in qualità. Sotto i 4 bit la qualità cala in modo più evidente, soprattutto nei modelli piccoli.

    Il tetto non è la velocità reale

    La velocità massima teorica dice quanto potresti andare se la memoria lavorasse sempre al massimo. Nella pratica si va più piano; serve a confrontare due macchine, non a promettere un numero.

    Fonti e definizioni

    Da dove vengono i numeri.

    Hardware

    Banda e memoria dei Mac vengono dalle presentazioni di Apple: M4, M4 Pro e M4 Max e M5. Quelle delle schede video dalle specifiche di NVIDIA e dei suoi partner. La memoria lasciata al sistema è una mia scelta prudente: cambiala con i tuoi numeri.

    Modelli e quantizzazione

    I bit per peso dei formati GGUF vengono dallo strumento di quantizzazione di llama.cpp, misurati su un modello da 8 miliardi di parametri. La cache del contesto parte dall'architettura di Llama 3.1 8B (32 strati, 8 teste per chiavi e valori da 128 dimensioni, cache a 16 bit: 0,125 GB ogni 1.000 token) e cresce con la radice della dimensione del modello, una semplificazione che torna con Qwen2.5 32B e Llama 3.1 70B.

    Domande frequenti

    Memoria, modelli e velocità.

    Quale hardware scegliere e come leggere questi numeri lo spiego nell'articolo Ollama requisiti minimi: hardware per un LLM locale. Per installare il primo modello c'è la guida Installare Ollama e un LLM in locale.

    Non trovi la tua domanda? Scrivimi i tuoi numeri e il dubbio che hai: ti rispondo io.

    Fai una domanda
    Quanta RAM serve per un LLM locale?

    Dipende dal modello e dalla quantizzazione. In Q4 un modello da 8 miliardi di parametri chiede circa 6-7 GB con un contesto di 8.000 token, uno da 32 miliardi circa 22 GB, uno da 70 miliardi più di 45 GB.

    Meglio un Mac o un PC con scheda video?

    Una scheda video ha più banda, quindi a parità di modello va più veloce, ma la VRAM è poca e cara. Un Mac con molta memoria unificata fa girare modelli più grandi, più piano. Prova le due configurazioni nel simulatore con il modello che ti serve.

    Cosa vuol dire Q4_K_M?

    È un formato di quantizzazione di llama.cpp: i pesi del modello vengono salvati con circa 4,9 bit invece di 16. Il file pesa circa un terzo e il modello perde poco in qualità.

    Perché il modello va più piano di quanto dice il simulatore?

    Il simulatore mostra il tetto teorico, con la memoria sempre alla massima velocità. Nella realtà contano il software, la lettura del prompt, la temperatura del portatile e le altre app aperte.

    Consulenza gratuita

    Vuoi un'AI che gira nei tuoi uffici?

    Scegliamo insieme hardware e modello per i tuoi casi d'uso, con i dati che restano in azienda e senza comprare più di quello che serve.

    Dal blog

    Approfondimenti

    Tutti gli articoli del blog

    Rocco Balzamà
    Parli direttamente con me

    Il prossimo passo?
    Parliamone.

    Raccontami cosa vuoi proteggere, costruire o far crescere. Ti aiuto a capire da dove partire.

    Di cosa mi occupo

    Da oltre trent'anni faccio tre cose. Cerco le falle della tua azienda prima che le trovi chi vuole entrare. Imposto il marketing perché i risultati si possano misurare. E aiuto persone e aziende a capire chi sono, prima ancora di decidere cosa vendere.

    Da remoto e in presenzaLavoro da remoto tramite call e videocall. Quando il progetto lo richiede, intervengo anche in presenza.
    Seguimi sui social
    Certified Ethical HackerSicurezza informatica dal 1993
    Gli strumenti con cui lavoro
    • Google Ads
    • Meta
    • WordPress
    • WooCommerce
    • Shopify
    • TikTok
    Strumenti gratuiti