AI in India: un benchmark umano mette GPT-4 in cima

Uno sviluppatore ha deciso di uscire dai soliti schemi dei benchmark sintetici, quelli che solo gli addetti ai lavori capiscono. Ha arruolato 123 persone in India per valutare le prestazioni di tre modelli di AI di punta: GPT-4 di OpenAI, Gemini Pro di Google e l'open source Mixtral 8x7B. L'esperimento è stato una submission per la Kaggle Benchmarking Challenge.

I partecipanti hanno giudicato i modelli su quattro aree cruciali. Si andava dalla generazione di codice Python alla risoluzione di problemi di logica. Poi c'era la scrittura creativa, con racconti brevi, e la moderazione di contenuti. Insomma, un bel mix per capire chi la spunta sul campo, non solo sulle tabelle Excel. Il tutto per capire come si comportano queste AI quando le usa una persona normale.

Nel benchmark condotto, GPT-4 ha mostrato le migliori prestazioni generali, in particolare nella generazione di codice e nel ragionamento logico. Non una sorpresa clamorosa, visto che è il modello di punta e non è esattamente economico da usare. Però è bello avere una conferma "umana" di questa cosa.

Gemini Pro di Google, invece, si è difeso bene, brillando soprattutto nella scrittura creativa e nella moderazione di contenuti. Dopotutto, Google ha sempre avuto un occhio di riguardo per il testo. E Mixtral 8x7B? Il modello open source ha mostrato prestazioni promettenti, pur restando un passo indietro rispetto ai colossi proprietari. È un po' come il Davide della situazione, ma con un arsenale ancora da affinare. Ha dimostrato che l'open source sta recuperando terreno, anche se lentamente.

Questo tipo di valutazione, basata su persone reali e non solo su metriche automatiche, offre una prospettiva preziosa. Ci dice come l'AI viene percepita e utilizzata nella vita di tutti i giorni. È un'ottima integrazione ai test "da laboratorio" che spesso non tengono conto delle sfumature umane. Non è solo questione di numeri, ma di usabilità e qualità percepita.

Certo, 123 persone in India non sono il mondo intero, ma è un inizio interessante. La metodologia ha impiegato 123 persone in India per valutare le risposte dei modelli, fornendo un'analisi basata sull'esperienza umana. Ci fa capire che, per quanto i modelli proprietari siano ancora in testa, la spinta dell'open source è forte. E un giorno, forse, anche il Davide di turno batterà Golia. O almeno gli darà una bella lezione.