LLM locali: il benchmark per sostituire Claude Code è un bluff?

No, non come pensiamo. Spesso si usano benchmark sbagliati per confrontare i modelli di codice locali con colossi come Claude Code, creando aspettative irrealistiche.

Molte liste online promettono “7 LLM locali che sostituiscono Claude Code” e mostrano tabelle di punteggi. Queste classifiche si basano quasi sempre sul benchmark SWE-bench, che è diventato lo standard de facto. Ma c'è un trucco.

SWE-bench è stato creato per valutare la capacità di un modello di risolvere bug in un codebase esistente. Per esempio, un modello deve identificare e correggere un errore specifico in un progetto Python, come ha fatto Google con AlphaCode nel 2022. Questo è molto diverso dal generare codice nuovo.

Perché risolvere un bug è diverso dal creare codice da zero o completare frammenti. SWE-bench testa la comprensione profonda di un codebase, non la “fluidità” o la “creatività” di un assistente alla programmazione.

Immagina di dover costruire una casa e ti danno un test su come riparare una perdita d'acqua. Sono due abilità diverse, no? Un modello può essere bravo a “riparare”, ma scarso a “costruire” un intero blocco di codice funzionante e ben strutturato.

I modelli come Claude Code sono usati per generare blocchi di codice, suggerire implementazioni o refactoring. Richiedono una capacità di “scrivere” in modo coerente e utile, non solo di “diagnosticare” e “curare” un problema specifico, come fa SWE-bench.

Quindi, se un LLM locale ha un punteggio alto su SWE-bench, significa che è bravo a trovare e correggere errori. Questo però non garantisce affatto che sia un buon compagno per la programmazione quotidiana, dove serve ben altro.

Dovremmo valutare i modelli su come generano codice utile e ben formattato, non solo sulla loro abilità di debugging. Servono benchmark più pratici che simulino l'uso reale.

Per capire se un LLM locale è un valido assistente alla programmazione, dovremmo guardare test che misurano la qualità del codice generato, la sua coerenza, la velocità di risposta e la capacità di adattarsi a diversi linguaggi. Al momento, non esiste un benchmark universale e ampiamente accettato per queste capacità. Questo rende difficile confrontare i modelli in modo significativo per l'uso pratico. Fino ad allora, il passaparola e i test personali rimangono i migliori amici del programmatore.