Lo smartphone diventa un assistente AI che legge tutto quello che vedi

Screen Flow AI Agent è un progetto che trasforma il tuo smartphone in uno dei soliti assistenti intelligenti, ma con un twist: invece di leggerti testi noiosi, guarda letteralmente quello che hai davanti. Prendi una screenshot, mandala all'AI, e lui ti racconta cosa vede. Non è scienza missilistica, ma il modo in cui è costruito è piuttosto furbo.

Alla base c'è LangGraph, un framework che orchestrailia logica dell'agente AI come se fosse un flusso di lavoro — una specie di catena di montaggio per il ragionamento artificiale. L'agente riceve l'immagine, la manda a un modello multimodale (uno di quei modelli che capisce sia testo che immagini), e poi elabora la risposta in modo intelligente. Non è magia: è automation ben strutturata.

Quelle finestre fluttuanti che vedi nelle app moderne? Ecco, questo sistema sfrutta il concetto per rimanere sempre disponibile mentre fai altro. Prendi uno screenshot della ricetta che stai seguendo, chiedi al modello di estrarmi gli ingredienti in formato lista, e boom — lì accanto hai la risposta. Zero distrazioni, tutto contestuale.

Il bello è che non devi essere uno sviluppatore per capire il potenziale. Stai leggendo un documento PDF noioso a lavoro e non capisci un grafico? Screenshot. Stai guardando un'app straniera e vuoi sapere cosa dice? Screenshot. Qualcuno ti ha mandato una foto di qualcosa di strano? Screenshot. È come avere un professionista nelle tasche che legge tutto per te.

Tecnicamente, il progetto sfrutta modelli open source e LangGraph per orchestrare il flusso: cattura screenshot → elaborazione multimodale → risposta strutturata. Niente cloud obbligatorio, niente tracciamento. Se vuoi privacy totale, puoi anche girarlo localmente su certi device.

Il vero significato? Gli agenti AI stanno diventando più utili non perché parlano meglio, ma perché capiscono il contesto visivo. Non è più solo processamento di testo — ora leggono il mondo intorno a te.