LLM ultraveloci: Rust e CUDA per la futura RTX 5090

Qualcuno sta già pensando a come far volare i modelli di intelligenza artificiale sulla prossima generazione di hardware. Avifenesh ha sviluppato un motore di inferenza LLM, chiamato bw24, che promette prestazioni da capogiro.

È scritto da zero, in Rust e CUDA, e mira alla futura NVIDIA RTX 5090. Questo significa che non si basa su soluzioni già pronte, ma è stato costruito per essere il più efficiente possibile. È un po' come costruire un'auto da corsa su misura, invece di elaborare un modello di serie. L'obiettivo è spingere al limite le capacità della GPU che ancora non è uscita.

Il progetto bw24 si distingue per l'attenzione maniacale all'ottimizzazione, sfruttando tecniche avanzate. Il progetto bw24 usa NVFP4, un formato numerico di NVIDIA, per ridurre l'impronta di memoria e velocizzare i calcoli. Inoltre, supporta le architetture MoE (Mixture of Experts).

Queste architetture MoE permettono ai modelli AI di attivare solo le parti necessarie per una data richiesta, rendendo l'inferenza molto più rapida. Immagina di avere un team di specialisti, e chiami solo quello che serve, non tutti insieme. Il motore include anche il "MTP speculative decoding", una tecnica per accelerare l'output dei modelli, prevedendo più risposte contemporaneamente.

Semplice: il codice è stato cesellato per spremere ogni millisecondo dalla GPU. È stato "tarato" contro i limiti misurati dell'hardware, per assicurare che non ci sia spreco di risorse. Avifenesh ha testato il suo motore bw24 contro le prestazioni massime teoriche della prossima architettura NVIDIA, nota come sm_120a.

Questo approccio garantisce che, quando la RTX 5090 arriverà sul mercato, chi userà bw24 avrà un vantaggio in termini di velocità ed efficienza. È un po' come avere un orologio svizzero, ma per i calcoli AI. Meno attese, più risposte immediate, anche con modelli complessi.