TurboVec: il vettore che occupa 4 GB invece di 31 GB (e cerca più veloce)

TurboVec è un progetto open source che risolve un problema concreto: gli indici vettoriali tradizionali mangiano memoria come non c'è domani. Costruito su TurboQuant di Google Research, è scritto in Rust con binding Python, il che significa che lo usi come un'estensione Python normale ma con le prestazioni del linguaggio compilato.

La magia sta nell'algoritmo: TurboQuant è un quantizzatore "data-oblivious", cioè non ha bisogno di una fase di training preliminare. Aggiungi i vettori, vengono indicizzati. Fine. Niente parametri da tweak, niente rebuild quando il corpus cresce. Online ingest puro.

Sui benchmark concreti: TurboVec batte FAISS IndexPQFastScan del 12–20% su ARM (la roba che gira su smartphone e edge devices) e almeno la pareggia su x86. Come? Con kernel scritti a mano in NEON (ARM) e AVX-512BW (x86). Tradotto: sa sfruttare davvero l'hardware, non fa finta.

Unaltra feature che non è uno specchietto: il filtering a tempo di ricerca. Passi una lista di ID permessi o una bitmask, e il kernel li rispetta direttamente durante la ricerca, senza over-fetching. Serve per RAG ibridi? SQL + semantic search? Esattamente quello che ti serve.

E poi c'è il piccolo dettaglio che rende tutto interessante: è puro locale. Zero managed service, i dati non escono dalla tua macchina. Se vuoi un RAG completamente isolato con un modello di embedding open source, TurboVec è letteralmente quello che stavi cercando.

Framework integrations? Ha drop-in replacements per LangChain, LlamaIndex, Haystack e Agno. Cambi l'import, il resto della tua pipeline non sa nemmeno che è cambiato. Quella è UX da veri ingegneri.