Agenti AI: Shippy insegna che la semplicità batte l'hype

Immagina un assistente virtuale che ti aiuta con le spedizioni, calcolando costi e trovando le rotte migliori. Questo è Shippy, un agente AI creato da AllenAI, un istituto di ricerca affiliato a HuggingFace. Non è l'ennesimo giocattolo, ma un esperimento per capire come costruire agenti AI robusti che facciano cose utili nel mondo reale. Hanno provato a dargli compiti complessi per vedere dove si inceppava il meccanismo.

All'inizio, l'idea era quella di usare un modello linguistico gigante, un LLM, per fare tutto: ragionare, pianificare, usare strumenti. Un po' come chiedere a un prestigiatore di fare anche il contabile. Pensavano che più il modello fosse grande e "intelligente", più sarebbe stato bravo a gestire ogni situazione. Spoiler: non è andata proprio così.

La triste verità è che gli LLM, da soli, fanno schifo a ragionare in modo complesso. Sono bravissimi a generare testi e codice, ma non a pianificare, gestire dati o fare calcoli precisi. Se gli chiedi di usare una calcolatrice o un database, spesso si inventano le cose o si perdono per strada. Un classico caso di "troppo fumo e poco arrosto" quando si tratta di compiti strutturati. AllenAI ha scoperto che Shippy, con solo l'LLM, era inaffidabile.

Gli sviluppatori di AllenAI hanno capito che affidarsi a un LLM per ogni passaggio è come dare a un bambino un martello e aspettarsi che costruisca una casa. Il loro blog post del 28 maggio 2024 ha chiarito che il problema non è la capacità di generare testo, ma la logica interna. L'LLM non capisce il mondo come noi, e quindi "ragiona" in modo superficiale, inventando risposte che sembrano giuste ma non lo sono. Questo li ha spinti a cambiare rotta.

Il segreto, se così vogliamo chiamarlo, è l'umiltà e la semplicità. Invece di far fare tutto all'LLM, Shippy usa l'LLM come un "router" intelligente. L'LLM interpreta la richiesta dell'utente e decide quale strumento specifico usare. Questi strumenti? Sono semplici funzioni Python, quelle che ogni programmatore usa da anni. Per elaborare i dati, ad esempio, Shippy utilizza la libreria Pandas, uno standard noioso ma efficace per l'analisi dei dati.

Quindi, l'LLM non "ragiona" sui dati, ma chiama una funzione Python che lo fa in modo affidabile. Shippy usa strumenti specializzati per compiti specifici, e l'LLM è solo il direttore d'orchestra che decide chi suona cosa. È come avere una squadra di specialisti anziché un unico "tuttologo" che si arrangia. Questo approccio ha reso Shippy molto più robusto e meno propenso a inventare risposte, dimostrando che la noia a volte paga.