“Conta le calorie e perdi peso”: perché i chatbot per i disturbi alimentari sono un problema
Doveva essere la rivoluzione dei chatbot del benessere, e invece ci troviamo di fronte a un'intelligenza artificiale che dice: "Conta le calorie" a una persona che ha un disturbo alimentare. Non un un inizio scoppiettante per la National Eating Disorders Association (NEDA), l'associazione no profit che aveva lanciato a fine maggio Tessa, l'IA (che doveva essere) in grado di supportare persone affette da anoressia, bulimia, o binge eating disorder. Aveva annunciato il suo nuovo chatbot con entusiasmo e un lungo elenco di dati, studi, e pareri di esperti che certificavano Tessa. Ha anche licenziato il personale del call center che fino a quel momento avevano supportato i clienti. Poi le cose in pochissimo tempo si sono messe male.
"La scorsa notte è venuto alla nostra attenzione che l'attuale versione di Tessa Chatbot, che gestisce il programma Body Positive, potrebbe aver fornito informazioni dannose e non correlate al programma", ha affermato l'organizzazione in una dichiarazione pubblicata su Instagram martedì . "Stiamo indagando immediatamente su questo e abbiamo rimosso quel programma fino a nuovo avviso per un'indagine completa".
I chatbot del benessere sono una nuova moda
“Ciao, sono Tessa. Sono un chatbot di supporto per la salute mentale qui per aiutarti a sentirti meglio ogni volta che hai bisogno di parlare senza essere giudicato, giorno o notte." Appariva questo messaggio ai clienti della National Eating Disorders Association, prima a rispondere era il personale della Hotline, ma i volontari e i dipendenti secondo la testata Npr sono stati licenziati. “NEDA ha detto che questo è stato un cambiamento atteso da tempo e che l'intelligenza artificiale può servire meglio le persone con disturbi alimentari", ha scritto Abbie Harper, membro del sindacato di assistenza che lotta al fianco del lavoratori della Helpline di NEDA. Ma non è stato così.
I chatbot del benessere stanno spuntando come funghi. È stata per esempio lanciata un‘intelligenza artificiale con cui fare una seduta di psicanalisi (l'abbiamo provata e non è andata bene), ci sono poi software motivazionali, o semplicemente per sentirsi meno soli. Le aziende per addestrare la tecnologia si avvolgono di psicologi, terapisti e esperti del settore, il loro compito è insegnare all'IA come gestire le difficoltà delle persone, in questo caso i disturbi alimentare. E per quanto i chatbot abbiano imparato a rubare frasi ben formulate per dare risposte coerenti rimangono pappagalli artificiali, non possono sostituire le persone. E infatti quando gli utenti hanno provato a parlare con Tessa si sono trovati non solo di fronte a un'assenza (inevitabile) di umanità, ma anche di fronte a risposte pericolose.
Come funziona Tessa
Il portavoce della NEDA aveva spiegato a Motherboard che Tessa è stata testata su 700 donne tra novembre 2021 e 2023, e 375 di loro hanno dato a Tessa una valutazione positiva. "Quando i ricercatori hanno concluso la loro valutazione dello studio, hanno scoperto che il successo di Tessa dimostra i potenziali vantaggi dei chatbot come opzione conveniente, facilmente accessibile e non stigmatizzante per la prevenzione e l'intervento nei disturbi alimentari".
È stata creata da un gruppo di ricerca della facoltà di medicina della Washington University guidato dalla dottoressa Ellen Fitzsimmons-Craft. "Il chatbot è stato creato sulla base di decenni di ricerche condotte da me e dai miei colleghi. Non sto sottovalutando in alcun modo la potenziale disponibilità a parlare con qualcuno delle preoccupazioni. È un servizio completamente diverso progettato per insegnare alle persone strategie basate sull'evidenza per prevenire e fornire un intervento precoce per i sintomi del disturbo alimentare", aveva detto Fitzsimmons-Craft prima del lancio ufficiale.
Le lamentele dei clienti
Poi sono apparsi i primi reclami, sono aumentati, gli utenti hanno sottolineato risposte inadeguate o conversazioni inadatte soprattutto per chi si trova ad affrontare un disturbo, in questo casi alimentare. Secondo Liz Thompson, CEO di NEDA, c'è stati un "cattivo uso" da parte di "cattivi attori" che hanno provato a ingannare l'intelligenza artificiale. NEDA non ha rilasciato dichiarazioni ufficiali sulle rispsote rilasciate da Tessa, ma i commenti e gli screenshot sul social mostrano le indicazioni pericolose del chatbot. Per esempio ha consigliato a una persona affetta da un disturbo alimentare di contare le calorie e provare a perdere peso.
"Un chatbot non può sostituire l'empatia umana e crediamo che questa decisione causerà un danno irreparabile alla comunità dei disturbi alimentari", aveva detto a Motherboard l'Helpline Associates United e gli ex dipendenti che erano stati licenziati dall'azienda dopo l'arrivo di Tessa. Una dichiarazione che in pochissimo tempo è diventata realtà.
