Kimi K3 su CPU: un modello AI gigante gira con poca RAM

Sembrava fantascienza, ma a quanto pare no. Un modello di intelligenza artificiale chiamato Kimi K3, che vanta la bellezza di 2.78 trilioni di parametri, ora può "pensare" su un semplice processore del tuo computer. Addio super-server, bentornato PC di casa, almeno in teoria.

Fareed Khan ha dimostrato che è possibile far girare questo modello di grandi dimensioni usando appena 8.24 GB di RAM. Questo è un bel pugno nello stomaco per chi ci diceva che l'AI più potente richiede per forza farm di schede grafiche costosissime. Chi l'avrebbe mai detto che un modello così mastodontico potesse stare in così poco spazio?

La magia sta nel codice. Il progetto di Fareed Khan è scritto in C99 puro, un linguaggio di programmazione molto basico ed efficiente. Non usa librerie complicate (tipo BLAS) né software pronti (framework), e soprattutto, non ha bisogno di quelle schede grafiche potenti (GPU) che di solito fanno lievitare i costi.

Questa scelta di design rende il tutto incredibilmente portatile e leggero. Pensateci: niente dipendenze esterne significa meno problemi, meno risorse richieste e la possibilità di farlo girare praticamente ovunque. È un po' come costruire un motore da zero, ottimizzandolo per consumare pochissimo carburante.

Semplice: democratizza l'accesso all'intelligenza artificiale avanzata. Fino ad oggi, far "ragionare" modelli così grandi era roba da aziende con budget stellari e data center che sembrano astronavi. Ora, con requisiti hardware così modesti, le barriere all'ingresso si abbassano drasticamente.

Questo significa che sviluppatori e ricercatori con risorse limitate potrebbero sperimentare con AI di altissimo livello senza fallire. Fareed Khan ha mostrato il modello Kimi K3 da 2.78 trilioni di parametri girare su una singola CPU, riducendo drasticamente i requisiti hardware. È un passo avanti per rendere l'AI davvero per tutti, non solo per chi ha le tasche piene.