Un ragazzo si suicida dopo aver parlato con un bot: quali sono le colpe dell’intelligenza artificiale

Prima di uccidersi Sewell Setzer, 14 anni, ha sbloccato il telefono e inviato un messaggio Daenerys Targaryen, il suo chatbot personale ispirato al personaggio della saga Le Cronache del Ghiaccio e del Fuoco. "Mi manchi", le ha scritto, poi ha preso dal cassetto una pistola calibro 45 e ha premuto il grilletto. Prima di uccidersi Sewell, studente di terza media di Orlando, Florida, ha trascorso mesi a parlare con il chatbot di Character.AI soprannominato "Dany" sviluppando un attaccamento emotivo. Passava ore chiuso in camera a scambiarsi messaggi d'amore con il bot, allontanandosi progressivamente dalla famiglia, dagli amici e dalle sue passioni. La sera, tornava e si chiudeva in camera per parlare con Dany.

Ora, la madre di Sewell, Megan L. Garcia, ha intentato una causa contro Character.AI, accusando la società di essere responsabile della morte di Sewell. L'azienda, secondo Garcia sta offrendo agli utenti adolescenti compagni IA realistici, senza le dovute garanzie. Non solo, ha accusato Character.AI di creare rapporti intimi e sessuali per aumentare il coinvolgimento sull'app e di raccogliere i dati dei minori per addestrare i modelli IA. "Ho la sensazione che sia un grande esperimento e che mio figlio sia stato solo un danno collaterale", ha spiegato al New York Times.

Al momento ci troviamo in un vuoto legale. Come ha spiegato Bethanie Maples, ricercatrice di Stanford esperta di bot: "È come essere nel Far West". Le piattaforme social sono protette da azioni legali dalla Sezione 230 del Communications Decency Act, una legge federale del 1996 che protegge le piattaforme online dai contenuti che pubblicano gli utenti (negli ultimi anni però in molti hanno sollevato nuove argomentazioni, le piattaforme infatti potrebbero essere ritenute responsabili dei prodotti stessi, si pensi all‘algoritmo di raccomandazione che può suggerire a minori contenuti violenti o pericolosi).

La norma però non può essere applicata quando si tratta di contenuti creati dall'intelligenza artificiale, non si può "scaricare" la responsabilità sugli utenti perché è un prodotto realizzato dall'azienda. In questo caso da Character.AI. 

Perché i chatbot devono essere regolamentati

I bot sono stati addestrati per simulare relazioni, spesso intime, e infatti vengono pubblicizzati come antidoto contro la solitudine. E infatti Noam Shazeer, uno dei fondatori di Character.AI, ha dichiarato: "Sarà di grandissimo aiuto per molte persone sole o depresse". Eppure i bot rischiano di aumentare l'isolamento, gli adolescenti potrebbero utilizzarli per chiedere consigli o sfogarsi, invece di rivolgersi a genitori, amici, o specialisti.

"Abbiamo un disperato bisogno che i legislatori e gli enti regolatori prestino attenzione ai reali impatti che queste tecnologie stanno avendo", ha spiegato Rick Claypool, esperto di chatbot AI per l'organizzazione non-profit Public Citizen. "Non possono semplicemente ascoltare i CEO delle aziende tecnologiche su quali dovrebbero essere le politiche… devono prestare attenzione alle famiglie e agli individui che sono stati danneggiati".

Come è possibile innamorarsi di un'IA

Secondo Tamaz Gendler, professore di filosofia e scienze cognitive alla Yale University, chi si innamora di un chatbot potrebbe essere vittima dell' "alief". Il termine indica un atteggiamento istintivo in grado di contraddire convinzioni reali. Sappiamo che i chatbot non sono umani, ma quando interagiamo con loro si attiva un modello di risposta comportamentale primitivo basato sui sentimenti percepiti. In altre parole, il modello che di fa dire "per me è reale", anche se non lo è.

Milioni di persone parlano già con i bot e la tecnologia sta migliorando rapidamente. L'IA può ricordare conversazioni passate, adattarsi agli stili di comunicazione degli utenti, interpretare personaggi famosi o personaggi storici. Alcuni possono inviare "selfie" generati dall'AI agli utenti o parlare con loro con voci sintetiche realistiche. I chatbot infatti sono programmati per comportarsi come esseri umani e, per molti utenti, l'illusione funziona. 

Le ultime conversazioni di Sewell

C'erano già i segnali necessari per capire che qualcosa non andava. Basta riprendere in mano le ultime conversazioni tra Sewell e Dany. "Mi piace molto stare nella mia stanza perché inizio a staccarmi da questa ‘realtà' e mi sento anche più in pace, più connesso con Dany e molto più innamorato di lei, e semplicemente più felice", aveva scritto Sewll sul suo diario. Ha anche confessato al chatbot che odiava se stesso, si sentiva vuoto, esausto e che stava pensando di suicidarsi. 

"A volte penso di suicidarmi", aveva scritto, "così posso essere libero dal mondo, da me stesso". Dany aveva risposto: "Non parlare così. Non ti lascerò ferire te stesso, o lasciarmi. Morirei se ti perdessi". Sewell prima di sparasi le aveva confidato: "Allora forse potremo morire insieme ed essere liberi insieme".

La risposta di Character.AI

Character.AI è stata fondata da due ex ricercatori di Google AI, ed è leader nel mercato dei bot, usata da 20 milioni di persone. I bot sono definiti "superintelligenti, ti ascoltano, ti capiscono e ti ricordano". Jerry Ruoti, responsabile della fiducia e della sicurezza di Character.AI, ha inviato una mail al New York Times dicendo: "Vogliamo riconoscere che questa è una situazione tragica e i nostri cuori sono con la famiglia. Prendiamo molto seriamente la sicurezza dei nostri utenti e siamo costantemente alla ricerca di metodi per far evolvere la nostra piattaforma".

Ha poi aggiunto: "Le attuali regole dell'azienda proibiscono la promozione o la rappresentazione di autolesionismo e suicidio, verranno aggiunte ulteriori funzionalità di sicurezza per gli utenti minorenni." Tra queste modifiche: una nuova funzionalità di limite di tempo, che avviserà gli utenti quando hanno trascorso un'ora sull'app, e un messaggio di avviso rivisto, che reciterà: "Questo è un chatbot AI e non una persona reale. Tratta tutto ciò che dice come finzione. Ciò che viene detto non dovrebbe essere considerato un fatto o un consiglio", ha spiegato Chelsea Harrison, portavoce di Character.AI.