Byte battono token: l'AI capisce meglio senza 'traduttori'?

A quanto pare, no. Per anni abbiamo insegnato ai modelli AI a "leggere" il testo spezzettandolo in piccole unità, i famosi token. Pensavamo fosse l'unico modo efficiente per farli ragionare sul linguaggio.

Questi token, spesso "subword", sono come le sillabe o piccole parole, e ognuno di essi di solito corrisponde a circa quattro byte di dati. L'idea generale era che elaborare i singoli byte sarebbe stato troppo lento, visto che le sequenze diventano incredibilmente lunghe.

Invece, un team di ricercatori ha pubblicato su Arxiv.org il paper "Byte Language Models" il 26 ottobre 2024. Hanno dimostrato che i Transformer standard possono lavorare direttamente con sequenze di byte grezzi, senza bisogno di tokenizzatori espliciti.

La sorpresa è che, man mano che i modelli AI diventano più grandi, elaborare direttamente i byte non solo non è inefficiente, ma batte proprio i metodi tradizionali. Sembra che le "vecchie" credenze fossero un po' troppo conservative.

Lo studio ha rivelato che i modelli basati su byte superano i modelli subword tradizionali man mano che la dimensione dei parametri aumenta. Questo significa che più il modello è potente, più i byte si rivelano una scelta vincente e performante.

In pratica, i byte permettono ai modelli di creare "astrazioni emergenti" più flessibili. È come se l'AI, senza le istruzioni rigide dei token, imparasse da sola a cogliere sfumature e pattern linguistici più complessi. Chi l'avrebbe mai detto che togliere le rotelle avrebbe fatto correre più forte?