Modelli Open Source: i "piccoli" AI che sfidano Gemma su TPU v5e

La risposta breve è: sì, almeno in alcuni ambiti. Una ricerca recente ha messo a confronto quattordici modelli AI open source, creati da vari sviluppatori, contro Gemma 4 E2B di Google. L'obiettivo era capire quali di questi "pesi piuma" potessero tenere testa a un modello più blasonato, il tutto su un singolo chip TPU v5e, un processore specializzato per l'AI.

Non è stata una gara qualsiasi, ma una vera e propria prova su strada. I modelli sono stati fatti girare uno dopo l'altro su un'unica immagine di sistema, usando vLLM per ottimizzare le prestazioni. Questo ha permesso di confrontare mele con mele, o meglio, chip con chip, per vedere chi era il più scattante e preciso nei compiti assegnati. I test si sono concentrati su problemi matematici (GSM8K) e sulla capacità di usare strumenti esterni (BFCL).

Tra i tanti, Qwen3-4B ha dimostrato di essere una vera sorpresa. Questo modello ha eguagliato l'accuratezza di Gemma 4 E2B nei problemi matematici, una cosa non da poco per un modello più piccolo. Certo, ha prodotto il 43% di testo in meno nello stesso lasso di tempo, ma la precisione era la stessa. Un po' come un velocista che arriva primo, ma con meno fatica apparente.

Ma non è finita qui. Altri due modelli, SmolLM3-3B e Granite 3.3 2B, hanno brillato in un campo diverso: l'uso degli strumenti. Hanno pareggiato Gemma nella capacità di gestire le "tool calls" (BFCL), che è fondamentale per gli agenti AI che devono interagire con il mondo esterno. Immaginate un'AI che deve prenotare un volo o controllare il meteo: la capacità di usare strumenti è tutto. A chi verrebbe in mente di chiedere a un'AI di calcolare il costo di un viaggio senza sapere come interagisce con i siti di prenotazione?

Assolutamente sì. Nonostante le ottime performance dei modelli più piccoli, Gemma ha mantenuto il suo vantaggio in un'area cruciale: la gestione dei prompt lunghi. Per intenderci, quando l'AI deve processare testi molto estesi, come un saggio o un lungo documento, Gemma ha dimostrato di essere ancora un passo avanti. Questo significa che per compiti che richiedono grande capacità di "memoria" e contestualizzazione, il modello di Google è ancora il re.

Questi test sono stati condotti da George Deen su dev.to e pubblicati il 30 maggio 2024. La ricerca ha coinvolto quattordici modelli open-source con licenza Apache-2.0 e MIT, tutti in grado di girare su un singolo chip TPU v5e. È la prova che la corsa all'AI non è solo una questione di chi ha il modello più grande, ma anche di chi sa ottimizzare al meglio le risorse. E per noi, utenti finali, questo è un'ottima notizia.