"""Simulazione: quali modelli di testo entrano in un MacBook Air M1 da 8 GB e a che velocità. Stima teorica, nessun modello eseguito. Ipotesi dichiarate: - quantizzazione Q4_K_M, circa 4,85 bit per parametro: con questo valore i pesi tornano con le dimensioni di Ollama documentate nell'Academy (Mistral 7B 4,4 GB, Llama 3.1 8B 4,9 GB, Phi-3.5 mini 2,3 GB); - 0,6 GB in più per contesto (circa 4.000 token) e motore; - memoria utilizzabile dal modello: 5,5 GB sugli 8 GB unificati (il resto a macOS e alle app aperte); - banda di memoria dell'M1: 68,25 GB/s. Ogni token generato legge tutti i pesi una volta, quindi il massimo teorico è banda / dimensione; nella pratica si arriva al 50-70%. Uso: python3 simulazione_m1.txt (scrive risultati.json accanto allo script). Estensione .txt perché il sito non pubblica file .py: Python lo esegue lo stesso. """ import json from pathlib import Path BIT_PER_PARAM = 4.85 EXTRA_GB = 0.6 MEMORIA_UTILE_GB = 5.5 BANDA_GBS = 68.25 EFFICIENZA = (0.5, 0.7) # (nome, miliardi di parametri, fonte del modello nell'analisi) MODELLI = [ ("Phi-3.5 mini", 3.82, "Academy, cap. 2"), ("Mistral 7B", 7.24, "Academy, cap. 2"), ("Llama 3.1 8B", 8.03, "Academy, cap. 2"), ("Gemma 2 9B", 9.24, "Academy, cap. 2"), ("Qwen 2.5 14B", 14.7, "Academy, cap. 2"), ("GPT-OSS-20B", 21.0, "citato da Locally Uncensored"), ("Mistral Small 3", 24.0, "citato da Locally Uncensored"), ("Qwen 3.8 27B", 27.0, "citato da Locally Uncensored"), ("GPT-OSS-120B", 117.0, "citato da Locally Uncensored"), ] def stima(nome, miliardi, fonte): pesi = miliardi * BIT_PER_PARAM / 8 totale = pesi + EXTRA_GB entra = totale <= MEMORIA_UTILE_GB massimo = BANDA_GBS / pesi return { "modello": nome, "fonte": fonte, "parametri_miliardi": miliardi, "pesi_gb": round(pesi, 1), "memoria_gb": round(totale, 1), "entra_in_8gb": entra, "token_al_secondo": [round(massimo * e, 1) for e in EFFICIENZA] if entra else None, } def main(): righe = [stima(*m) for m in MODELLI] uscita = { "macchina": "MacBook Air M1, 8 GB di memoria unificata", "ipotesi": { "bit_per_parametro": BIT_PER_PARAM, "extra_gb": EXTRA_GB, "memoria_utile_gb": MEMORIA_UTILE_GB, "banda_gb_s": BANDA_GBS, "efficienza": EFFICIENZA, }, "risultati": righe, } Path(__file__).with_name("risultati.json").write_text( json.dumps(uscita, ensure_ascii=False, indent=2) + "\n", encoding="utf-8") for r in righe: tps = "non entra" if r["token_al_secondo"] is None else "%s-%s token/s" % tuple(r["token_al_secondo"]) print(f'{r["modello"]:<16} {r["pesi_gb"]:>5} GB pesi {r["memoria_gb"]:>5} GB totali {tps}') if __name__ == "__main__": main()