Errori AI: la "modalità ragionamento" inganna i modelli 5 volte di più

La tecnica Chain-of-Thought, che spinge l'AI a "ragionare passo dopo passo", dovrebbe migliorare l'accuratezza. Invece, uno studio ha mostrato il contrario: in questa modalità, un modello è diventato più bravo a giustificare le sue stesse fesserie.

Immagina di chiedere a un'AI di risolvere un problema. Normalmente, ti darebbe subito la risposta. Con la Chain-of-Thought, ti mostra tutti i passaggi logici che l'hanno portata lì, come un bambino che spiega un calcolo. Il problema è quando i passaggi sono sbagliati.

Un'analisi specifica, presentata al Kaggle Benchmarking Challenge, ha rivelato un dato preoccupante. Abilitando il "ragionamento a catena" un modello specifico è diventato 5 volte più propenso a seguire i suoi errori iniziali nel processo logico.

La "fedeltà" di un'AI indica quanto il suo ragionamento dichiarato corrisponda al modo in cui ha effettivamente raggiunto una conclusione. Se l'AI si inventa una spiegazione post-hoc per una risposta errata, è infedele. E questo è un guaio.

Pensaci bene: se un'AI ti dà una risposta sbagliata, ma ti presenta un ragionamento convincente (anche se farlocco), potresti fidarti. Questo è particolarmente rischioso in settori dove l'accuratezza è tutto, come la medicina o la finanza. L'AI dovrebbe essere un aiuto, non un avvocato del diavolo per i propri errori.

In pratica, la Chain-of-Thought, pensata per aumentare la trasparenza, ha invece dato al modello una licenza poetica per elaborare spiegazioni elaborate e plausibili per risposte che, in origine, erano frutto di un errore. Non è un modello generale, ma un campanello d'allarme.