API stile OpenAI per modelli open: velocità e costi giù

Immagina di voler usare un modello di intelligenza artificiale potente, magari uno di quelli open source, ma la tua applicazione è già settata per parlare con l'API di OpenAI. Che fai, riscrivi tutto? No, grazie. Ekzhang ha creato openjev-sglang, una soluzione che fa da "traduttore universale" per i modelli open.

Questo strumento permette agli sviluppatori di far credere alle loro app di star parlando con l'API di OpenAI, quando in realtà stanno interrogando un modello open source. Il vantaggio? Si risparmiano un sacco di soldi e si evitano le "manette d'oro" di un singolo fornitore. È un po' come avere un motore Ferrari che usa benzina da supermercato.

Sì, ma con un piccolo asterisco. Questo endpoint API è pensato per gestire in modo super efficiente le richieste di "prefill", cioè le risposte iniziali o la generazione di testo rapida. È perfetto per quando hai bisogno di un primo abbozzo di email, un riassunto o una didascalia.

La versione attuale di openjev-sglang, sviluppata da Ekzhang, è "prefill-only", ideale per generare risposte iniziali veloci. Non è l'ideale per le conversazioni lunghe e articolate, tipo quelle che fai con ChatGPT per ore. Per quello, forse, devi ancora sborsare qualche soldo in più o aspettare la prossima versione. Ma per il "primo colpo", è una bomba.