Codex: i modelli testuali ora 'vedono' le immagini

Sì, in un certo senso. Un progetto su GitHub di Anionex ha trovato un modo astuto per far sì che i modelli di linguaggio puramente testuali possano utilizzare lo strumento di visione di Codex. Questo significa che, anche se il modello non è stato addestrato sulle immagini, ora può "consultarle" attraverso un intermediario.

Immagina il tuo assistente AI preferito, quello bravo a chiacchierare, ma che finora era cieco come una talpa. Grazie a questa soluzione, ora può chiedere a un "amico" di descrivergli cosa c'è in una foto. Il progetto Anionex/codex-vision-proxy, pubblicato su GitHub, introduce un metodo per integrare capacità visive. Non è che il modello sviluppi gli occhi, ma ottiene un accesso indiretto.

Il segreto sta in un "proxy" e un "toolkit visivo" pensati proprio per i modelli testuali. In pratica, il proxy intercetta le richieste del modello e, quando c'è da "vedere" un'immagine, la passa allo strumento view_image di Codex. Poi, il risultato viene riconvertito in testo che il modello può capire.

È un po' come avere un interprete simultaneo per le immagini. Il "vision toolkit & skill" allegato al progetto Anionex fornisce al modello le istruzioni e le capacità necessarie per interagire con questo interprete. Così, un LLM che non è nativamente multimodale, può improvvisamente agire come se lo fosse, usando strumenti esterni. Non male per un modello che fino a ieri leggeva solo parole, no?

Questo significa che si possono costruire agenti AI più versatili e intelligenti senza dover spendere un patrimonio per addestrare modelli multimodali da zero. Per chi sviluppa, o semplicemente vuole un'IA che faccia più cose, è una scorciatoia geniale. Si aprono possibilità per chatbot che capiscono screenshot o assistenti che analizzano grafici.

Invece di aspettare che OpenAI o Google rilascino un nuovo modello "omnisciente", questa soluzione offre un modo per aggiungere funzionalità visive a modelli esistenti e meno costosi. Il progetto Anionex/codex-vision-proxy, disponibile su GitHub, permette ai modelli testuali di accedere a strumenti visivi, riducendo la barriera d'ingresso per la creazione di agenti multimodali. Chi l'avrebbe detto che un semplice "proxy" potesse fare così tanto?