MIST-1-140B: il modello AI gigante che arriva (quasi) gratis

Innanzitutto, che cos'è un modello da 140 miliardi di parametri? Immagina un cervello artificiale con 140 miliardi di "neuroni" virtuali — il doppio di ChatGPT-4 e il triplo dei modelli piccoli che girano su Discord. MIST-1 è stato costruito per fare conversazioni, rispondere a domande complesse e capire contesti complicati, senza essere una società quotata che ti traccia ogni click.

Il trucco è nella compressione 4-bit. Normalmente questi modelli giganti occupano 260-280 GB di spazio (sì, gigabyte, non megabyte). La versione 4-bit? Si piazza intorno ai 70-80 GB, il che significa che con una GPU consumer decente (tipo una RTX 4090 o una A100 affittata per pochi euro al giorno) riesci effettivamente a farla girare. Non è più fantascienza da big tech.

Ora, il grande interrogativo: chi la usa davvero? Gli sviluppatori che costruiscono chatbot custom, i ricercatori che sperimentano in locale senza mandare i dati a OpenAI, e quelle aziende medie che non vogliono pagare le api di San Francisco tutti i mesi. È la Lamborghini che puoi permetterti se non sei pazzo, diciamo così.

Olaverse (lo studio dietro MIST-1) ha scelto di metterla su HuggingFace, il GitHub degli AI model, il che significa: è open source, gratuita, e chiunque può scaricarla, modificarla, e dirgli di tutto senza rompere i termini di servizio di nessuno. Non c'è gente di San Francisco che ti legge i log quando fai domande strani.

Un dettaglio non banale: non sappiamo esattamente con quali dati è stata allenata (cosa che contraddistingue MIST da altri modelli "trasparenti"), e la qualità è buona ma non ancora al livello Llama 3 o Mistral ultimi. È comunque un'ottima opzione se vuoi il massimo controllo e un modello grande senza vendere il rene.

In pratica, questo segna l'ennesimo passo verso la democratizzazione dell'AI seria. Tre anni fa parlare di modelli da 140 miliardi era roba da fantascienza con i server di Apple. Oggi puoi scaricarlo in un pomeriggio.