Claude "guarda" video: un tool open source gli fa capire cosa succede

Per quanto le intelligenze artificiali siano diventate bravissime a chiacchierare e a creare immagini, c'era un buco nero: i video. Pensavamo fossero magiche, ma in realtà non avevano ancora capito che un gatto non era un cane solo perché era in movimento. HUANGCHIHHUNGLeo ha sviluppato questo strumento per permettere agli LLM di analizzare i video in tempo reale, un bel passo avanti.

Fino a ieri, dare un video a un'AI era come chiedere a un critico d'arte di giudicare un film solo leggendo la sceneggiatura e vedendo qualche screenshot sparso. Non il massimo per cogliere le sfumature, diciamo. Questo nuovo tool cambia la musica, dando agli LLM una visione molto più completa e contestuale di ciò che accade sullo schermo.

Non è magia nera, tranquilli. Il segreto sta nel modo in cui il tool "prepara" il video per l'intelligenza artificiale. In pratica, prende il flusso video e lo scompone in due parti fondamentali che l'LLM può digerire senza problemi. Il tool, chiamato claude-real-video, è disponibile su GitHub con licenza MIT.

Prima di tutto, estrae i fotogrammi chiave, quelli che mostrano un cambio di scena o un'azione importante, eliminando le ripetizioni inutili. È come creare una sorta di storyboard intelligente del video. In più, genera una trascrizione completa di tutto l'audio presente. Mettendo insieme questi due pezzi, l'AI riceve un pacchetto completo: cosa si vede e cosa si dice, fotogramma per fotogramma.

Che questo strumento giri in locale è una manna dal cielo per la privacy. Niente più dati sensibili o video personali che fanno un giro turistico sui server di chissà chi. Tutto resta sul tuo computer, sotto il tuo controllo. È un aspetto cruciale per chi tiene alla propria riservatezza, ma vuole comunque usare l'AI per analizzare contenuti multimediali.

Essere open source, poi, è la ciliegina sulla torta. Significa che chiunque può vedere come funziona, modificarlo e adattarlo alle proprie esigenze. Non solo, l'assenza di costi e la licenza MIT lo rendono accessibile a tutti, dai curiosi agli sviluppatori più esperti. Questo approccio, rilasciato da HUANGCHIHHUNGLeo, offre flessibilità e controllo agli utenti.