Un nuovo modello AI che scrive codice (e non è lentissimo)

Allora, il modello ha 9 miliardi di parametri, il che significa che è abbastanza grande da essere utile, ma abbastanza piccolo da non richiedere una GPU da diecimila euro. È un equilibrio delicato che nel mondo dell'AI è raro come trovare un chatbot che ammette di non sapere qualcosa.

La parte interessante è quella sigla finale: AWQ-INT4. Senza voler sembrare un dev che spiega il suo commit su Slack, tradotto significa che il modello è stato compresso in modo intelligente. Prendi il modello originale, fai un po' di magia matematica (non preoccuparti, la fa il computer), e finisci con un file più leggero che gira come il vento anche su hardware modesto.

Come funziona nella pratica? Dai al modello un commento tipo "# funzione che ordina un array" e lui ti genera il codice. Non è perfetto (nessun modello lo è), ma sa riconoscere Python, JavaScript, Go e altri linguaggi. È come avere uno Stack Overflow che non ti insulta quando chiedi cose ovvie.

Il vantaggio reale è che non hai bisogno di un abbonamento mensile o di una connessione internet stabile per usarlo. Scarichi il file, lo carichi nel tuo IDE o nel tuo strumento preferito, e basta. È il genere di cosa che i developer indipendenti e le startup con budget ridotto stanno aspettando.

Certo, Qwopus 3.5 non è GPT-4, ma per chi vuole uno strumento di codifica IA locale e veloce senza compromessi enormi sulla qualità, potrebbe essere esattamente quello che cercava. Il fatto che sia open source significa anche che puoi modificarlo se hai voglia (e se sai come fare).