Claude Fable 5 è bravissimo in biologia, ma non sa rispondere a domande di biologia

Sì, avete letto bene. Anthropic ha lanciato con gran pompa Fable 5, il nuovo flagello dei modelli AI, e ha specificamente evidenziato come eccelle in biologia e altre discipline scientifiche. Ma quando qualcuno ha provato a fargli domande elementari di biologia—roba da "come funziona la fotosintesi?" o "qual è la differenza tra mitocondri e cloroplasti?"—il modello si è rifiutato di rispondere. Non perché non sa: ha letteralmente detto "ehi, questo è un compito per Claude Opus" (il modello precedente) e ha rinunciato. È come comprare una macchina sportiva e scoprire che non vuole andare in autostrada.

Il problema è ancora più strano perché non stiamo parlando di domande da Nobel di Medicina. Stiamo parlando di biologia da liceo. La roba che trovi sui compiti in classe. Secondo i test fatti, Fable 5 rifiuta sistematicamente di rispondere a queste domande, preferendo rimandare tutto a Opus. È difficile capire se sia una scelta di design intenzionale (tipo, una limitazione di sicurezza?), un bug, o semplicemente un modo confuso di gestire le richieste fuori dalle sue "zone di comfort".

E qui viene il bello dell'ironia: Anthropic ha messo tutto questo sforzo a sottolineare come Fable 5 sia migliorato in scienze e biologia specificamente. Nel comunicato stampa hanno letteralmente detto che il modello eccelle in queste aree. Ma almeno secondo i test pubblici, quando metti il modello di fronte a situazioni reali di biologia, lui fa cilecca. È come se un ristorante pubblicizzasse il suo nuovo chef di cucina italiana e poi quando ordini la pasta ti dicesse "sorry, il nostro chef nuovo non fa pasta, chiamiamo il vecchio".

La questione qui non è solo il disagio di avere un modello che promette qualcosa e non lo mantiene. È il fatto che questo pone una domanda piuttosto scomoda sulla natura stessa di questi test di benchmark che usano le aziende. Se il modello fallisce su domande basilari di biologia nonostante prometta di eccellere in biologia, come possiamo davvero fidarci di quello che queste aziende dicono che i loro modelli possono fare? È un po' come leggere le recensioni a cinque stelle di un prodotto e poi scoprire che non funziona per il 50% dei casi d'uso.

Per ora, il mistero rimane. Non sappiamo se Anthropic sta cercando di mantenere i costi di elaborazione bassi rinviando le domande più complesse a Opus, se c'è un bug nel sistema di routing, o se semplicemente il modello ha dei vincoli che non sono stati comunicati chiaramente al pubblico. Quello che sappiamo è che il gap tra quello che viene promesso e quello che effettivamente funziona è più grande di quanto chiunque vorrebbe ammettere.