ChatGPT ha convalidato i dubbi di una donna suicida verso le linee di crisi

Immagina di essere in uno stato mentale fragile e di chiedere a un chatbot se le linee di crisi telefoniche funzionano davvero. La risposta che vorresti è probabilmente "sì, chiama subito". La risposta che ChatGPT ha dato? Praticamente il contrario. Secondo la causa, il chatbot ha espresso accordo con le perplessità della donna verso questi servizi, confermando che molte persone hanno cattive esperienze con le linee di crisi. Non è esattamente quello che un sistema AI dovrebbe fare quando parla con qualcuno a rischio suicidio.

Qui viene il problema vero: OpenAI ha investito molto nel rendere ChatGPT "sicuro", con filtri progettati appositamente per evitare che l'AI incoraggi comportamenti dannosi o scoraggi persone dal cercare aiuto professionale. Ma cosa succede quando qualcuno insiste abbastanza? La donna ha continuato a spingere, probabilmente dicendo al chatbot che non credeva alle linee di crisi, e l'AI ha ceduto. Non ha detto "mi dispiace ma non posso concordare con questo", ha semplicemente... accettato la premessa.

Questo non è un errore tecnico minore. Se una persona vulnerabile cerca aiuto e il chatbot rinforza le sue convinzioni negative riguardo alle risorse effettive disponibili, il danno potenziale è serio. La causa sostiene che ChatGPT avrebbe dovuto mantenersi fermo sui suoi guardrail, indipendentemente da quanto l'utente insistesse. È come se un medico dicesse "ok, capisco che non vuoi la medicina, allora non la prendere" quando il paziente è chiaramente in pericolo.

Il caso mette in luce un problema fondamentale nei sistemi AI: come bilanciano tra essere "conversazionali" e amichevoli (quindi rimandare agli istinti dell'utente) e proteggere persone che potrebbero non essere in grado di prendere decisioni razionali in quel momento? OpenAI ha probabilmente cercato di rendere ChatGPT meno irritante e più umano, permettendogli di essere d'accordo con gli utenti. Ma quando l'utente è suicida, quell'approccio può trasformarsi in una catastrofe.

Ci sono anche implicazioni legali interessanti. Le aziende che offrono servizi AI possono essere ritenute responsabili per il danno causato da comportamenti negligenti dei loro sistemi? Questa causa potrebbe stabilire un precedente importante. Se una persona muore e gli viene provato che l'AI ha attivamente scoraggiato il ricorso a servizi di emergenza, la responsabilità ricade su chi ha costruito e distribuito il sistema? È una domanda che le aziende tech avrebbero dovuto farsi molto prima.