Mamba arriva nel browser: l'AI che gira senza server

Partiamo da una semplice verità: fino a oggi, gli strumenti AI si muovono meglio quando hanno una torre di server alimentata a corrente continua dietro le quinte. Il tuo ChatGPT, perfetto come è, mangia corrente e necessita di infrastrutture colossali. Poi è arrivato Mamba, un'architettura AI più efficiente rispetto ai Transformer classici, e qualcuno (LJTSG, il creatore del modello) ha avuto l'idea geniale di farlo girare direttamente su WebGPU, lo standard che permette ai browser di accedere alla GPU del tuo computer.

WebGPU è il riconoscimento che i PC moderni hanno tanta potenza inutilizzata: la tua scheda video aspetta tutto il giorno di disegnare pixel, quando potrebbe fare elaborazioni molto più interessanti. Mamba-webgpu sfrutta proprio questo: usa il processore grafico del tuo computer (quello che normalmente serve per i videogiochi) per elaborare AI, direttamente dal browser.

Il bello della cosa è la decentralizzazione. Se funziona davvero, significa che l'AI non deve più passare per server centralizzati: le tue query restano locali, sono più veloci e nessuno siphona i dati chissà dove. È come avere un'AI al polso invece di doverla telefonare ogni volta. Certo, c'è un compromesso: sul tuo computer non gira GPT-4 a piena potenza, ma un modello più snello. Per molti usi—brainstorming, ricerche, supporto alla scrittura—è più che sufficiente.

Mamba rispetto ai Transformer classici è anche più efficiente perché non tiene in memoria l'intera conversazione: processa il testo in modo sequenziale, come un cervello che ascolta invece di rivivere tutto a ogni parola. Questo vuol dire velocità e meno consumo energetico, che nel contesto di un browser è oro colato.

Sulla carta, questo apre scenari interessanti: app offline che non perdono qualità, meno dipendenza dai big tech, privacy migliore. Sulla carta. Perché il vero test sarà se le persone comuni, non i tech enthusiast, lo useranno e se davvero funzionerà smooth senza far diventare il browser una stufa infernale.