Agenti AI: auto-miglioramento fallito su 4 modelli

Sì, per ora il sogno è rotto. L'idea di agenti AI capaci di imparare a scriversi prompt migliori da soli è affascinante, ma la realtà si è dimostrata più complessa. Un esperimento recente ha messo in chiaro che c'è ancora molta strada da fare.

Immaginate un'AI che non solo esegue compiti, ma riflette su come li ha eseguiti. Poi si dà istruzioni più precise per fare un lavoro migliore la prossima volta. Sembra fantascienza, vero? Beh, in effetti, lo è quasi.

In breve, tutti e quattro i modelli testati hanno fallito. Debashish Ghosal, un ricercatore, ha creato un agente AI con l'obiettivo di migliorare automaticamente i propri prompt. Ha provato a fargli ottimizzare le istruzioni per compiti specifici, ma i risultati sono stati deludenti.

Ghosal ha testato quattro diversi modelli di linguaggio per vedere se fossero capaci di questa auto-ottimizzazione. Nessuno dei modelli è riuscito a generare prompt che migliorassero significativamente le proprie prestazioni. La ricerca di Ghosal ha dimostrato che la strategia di ricerca per l'auto-miglioramento degli agenti AI è attualmente il punto debole, non la capacità dei singoli modelli. Questo significa che il modo in cui l'agente esplora nuove istruzioni è il vero problema.

Il punto cruciale è la "strategia di ricerca". Non basta avere un modello intelligente che capisce il linguaggio. Serve anche un metodo efficace per esplorare le infinite possibilità di un prompt. È come avere un genio che però non sa cercare la soluzione giusta in una pila di libri.

Il problema non è tanto l'intelligenza bruta dei modelli, quanto la loro capacità di auto-critica costruttiva. Non riescono a capire veramente cosa non ha funzionato per poi formulare una soluzione migliore. Ci aspettavamo troppo da loro, o forse non abbiamo ancora capito come fargli capire cosa vogliamo?