Questo articolo è stato generato con l’ausilio dell’intelligenza artificiale, prendendo spunto da due discussioni su Reddit: “Local AI is having a moment and we should stop and appreciate it” su r/LocalLLM e “2.5x faster inference with Qwen 3.6 27B using MTP” su r/LocalLLaMA.

L’Intelligenza Artificiale Locale Sta Vivendo il Suo Momento d’Oro

C’è un momento, in ogni rivoluzione tecnologica, in cui la tecnologia smette di essere una promessa e diventa un fatto compiuto. Per l’AI locale — i modelli di intelligenza artificiale che girano direttamente sul tuo computer, senza inviare dati a nessun server — quel momento sembra essere arrivato.

E la community lo sa.

Due post, un messaggio

Nei giorni scorsi, due discussioni su Reddit hanno catturato l’attenzione di migliaia di appassionati e sviluppatori, descrivendo da angolazioni complementari la stessa realtà: l’AI locale ha fatto passi da gigante e sta diventando concreta per chiunque abbia hardware decente.

Il primo post, su r/LocalLLM da parte di utente codehamr, è una riflessione entusiasta ma ragionata: “Honest pause here, because I think we are speedrunning past how good things actually are.” L’autore fa notare come la classe dei 30 miliardi di parametri sia diventata il sweet spot — Qwen 3.6 27B, Gemma 4 31B, i modelli MoE 35B-A3B — e come questi modelli siano ora eseguibili su tre piattaforme reali: Mac con Apple Silicon, workstation AMD Strix Halo, e GPU NVIDIA come la RTX 5090.

La constatazione più potente? “I am casually doing tasks on local Qwen3.6 27B that nine months ago only Opus 4.1 could touch.” Nove mesi. Il modello che faceva gridare al miracolo la community, oggi gira tranquillamente sulla macchina di casa.

Il secondo post, su r/LocalLLaMA da froggeric, è invece un resoconto tecnico dettagliato di come le ottimizzazioni di inferenza stiano cambiando le regole del gioco. Sfruttando il Multi-Token Prediction (MTP) integrato in Qwen 3.6 27B tramite una recente PR su llama.cpp, l’autore riporta un aumento di velocità del 2.5x, portando la generazione a 28 token al secondo su un Mac M2 Max con 96 GB di RAM. Su GPU NVIDIA, i risultati sono ancora più impressionanti: un utente con RTX 3090 Ti riporta 100 tok/s con il modello 27B e ben 200 tok/s con il modello 35B MoE, mantenendo contesto fino a 256k token.

Tre ottimizzazioni in un colpo solo

Il post tecnico evidenzia come sia possibile combinare tre ottimizzazioni contemporaneamente:

Il risultato pratico? Un modello da 27 miliardi di parametri con contesto da 262.000 token — circa l’equivalente di un libro di 500 pagine — che gira fluidamente su hardware consumer.

Il punto di svolta: l’agentic coding locale

Ma la vera rivoluzione non è nella velocità pura. È in cosa questa velocità abilita.

L’autore del primo post racconta di essersi messo a sviluppare il proprio coding agent CLI — senza plugin, senza bloat, solo un “YOLO get your shit done mode” — proprio perché l’AI locale ora funziona davvero per compiti agentic. Non si tratta più di completare una riga di codice: si tratta di far eseguire al modello task complessi, con ragionamento a più step, direttamente sulla propria macchina.

E la community conferma: dai commenti emergono use case concreti — agent che gestiscono email e calendari in locale, workflow di sviluppo con test e iterazioni che non toccano mai il cloud, classificazione e summarization come operazioni quotidiane.

Come scrive un commentatore: “When local models were weak, most people treated them like toys or privacy experiments. Now they are good enough that you can actually build daily workflows around them.”

Non solo velocità: privacy, controllo, indipendenza

Il filo conduttore dei commenti è chiaro. L’appeal dell’AI locale non è solo tecnico:

• Privacy totale: i tuoi dati non lasciano la tua macchina. Nessun training data third-party, nessun log su server esterni.
• Nessuna dipendenza: funziona offline, senza API keys, senza costi per token, senza rate limits.
• Controllo completo: sandboxing, personalizzazione, tuning delle configurazioni — tutto in mano tua.
• Costo zero: una volta comprato l’hardware, il costo per inferenza è letteralmente zero.

Un utente con una RTX 3060 da 12 GB comprata tre anni fa per giocare commenta: “I’m not running a server. Hermes Agent checks my emails and runs my calendar. But it’s all local, no worries about my personal shit being fed into someone else’s training data.”

L’hardware consumer è sufficiente

La tabella delle configurazioni consigliate dal post tecnico è rivelatrice. Non serve un datacenter:

Apple Silicon:
– 16 GB di RAM → modello quantizzato IQ2_M, contesto 32K
– 32 GB di RAM → Q5_K_M, contesto 262K (un quarto di milione di token!)
– 48 GB di RAM → Q6_K con visione e contesto 262K

NVIDIA GPU:
– 16 GB VRAM → IQ2_M, contesto 200K con visione attiva
– 24 GB VRAM → Q4_K_M, contesto 262K con visione
– 48 GB VRAM → Q6_K o Q8_0, massima qualità con contesto completo

Il messaggio è inequivocabile: una GPU gaming di due generazioni fa è più che sufficiente per task quotidiani di AI locale.

La prospettiva: ibrido è il futuro

Molte voci nella community vedono il futuro come ibrido: l’AI locale gestisce il 90% dei task — bozze, riepiloghi, classificazione, test iterativi, agent personali — mentre il cloud viene preservato per il ragionamento pesante o la revisione finale.

Un commentatore lo sintetizza bene: “The AI bubble will pop not because it’s useless, but because a lot of use cases can be run locally. For everything else, it’s a race to the bottom in terms of $/token.”

E un altro aggiunge: “I think the future is hybrid local/cloud, with routing and dynamic loading/unloading of models as needed.”

Conclusione: fermiamoci un attimo ad apprezzare

Riprendendo le parole del post originale: guardiamo indietro di nove mesi. Poi di sei. Poi di una settimana. Il progresso è stato esponenziale.

I modelli open source — in particolare quelli cinesi come Qwen e DeepSeek — continuano a spingere i confini di quanto piccolo possa essere un modello pur mantenendo qualità da heavyweight. Le ottimizzazioni di inferenza come MTP, KV cache compressa e speculative decoding rendono questi modelli pratici su hardware reale. E la community sta costruendo sopra questi mattoni workflow, agent e strumenti che fino a ieri sembravano fantascienza.

È un buon momento per fare AI locale. Anzi, è il miglior momento di sempre.

Fonti: r/LocalLLM – Local AI is having a moment | r/LocalLLaMA – 2.5x faster inference with MTP