La storia di Drew: “Mia figlia è stata assassinata 18 anni fa, ora è un chatbot”
Drew Crescente riceve una notifica, guarda il cellulare, è un avviso Google, segnala un nuovo profilo online di sua figlia Jennifer. Eppure la ragazza è morta 18 anni fa. Crescente apre la pagina, vede la foto dell'annuario del liceo di Jennifer accompagnata da una breve descrizione: giornalista di videogiochi ed esperta di tecnologia, cultura pop e giornalismo. "Ho sentito il cuore accelerare, non riuscivo a crederci", ha raccontato Crescente al Washington Post. Scorrendo sulla pagina legge di fianco al profilo di Jennifer "personaggio AI competente e amichevole", un grande pulsante a lato invita a chattare con lei.
Il nome e la foto della ragazza sono stati infatti utilizzati per creare un chatbot su Character.AI , il sito consente agli utenti di conversare con personalità digitali create con l'intelligenza artificiale generativa. "Sono sconvolto che Character abbia permesso a un utente di creare un facsimile di una studentessa delle superiori assassinata senza il permesso della sua famiglia", ha commentato Crescente. "Ci vuole un bel po' per essere scioccato, perché ho davvero passato un bel po' di cose", ha detto Crecente. "L'idea che un chatbot faccia soldi con il nome e la faccia di mia figlia assassinata è orribile."
La storia di Jennifer Crescente
Jennifer Ann Crecente, studentessa di 18 anni, è stata uccisa a colpi di arma da fuoco nel sud-ovest di Austin, in Texas, da Justin Crabbe, il suo fidanzato, il 15 febbraio del 2006. Drew Crescente dopo la morte della figlia ha creato la Jennifer Ann's Group, un'organizzazione non-profit "per prevenire la violenza negli appuntamenti tra adolescenti". Lo scopo dell'organizzazione è "mantenere vivo il ricordo di Jennifer Crecente attraverso l'istruzione e le buone azioni". L'organizzazione infatti distribuisce gratuitamente materiale didattico a scuole e organizza eventi i per parlare della violenza di genere.
Crecente, in seguito all'omicidio di sua figlia ha attivato su Google un avviso per monitorare quando il nome di Jennifer compare online. Spesso suona perché viene citato da qualche testata che riprende il caso, il 2 ottobre, invece è comparsa la notifica di Character.
"Oltre a usare il nome e la foto di Jennifer, la pagina del chatbot si è inventata diverse cose, la trattava come se fosse viva, diceva una giornalista tecnologica che era una nerd dei videogiochi sempre aggiornata sulle ultime notizie di intrattenimento". La descrizione non coincide con le passioni e le aspirazioni di Jennifer. Molto probabilmente la biografia, generata dall'intelligenza artificiale, ha preso spunto dal fratello, Brian Crecente, ex reporter che ha fondato il sito di notizie sui videogiochi Kotaku.
La risposta di Character dopo il caso Crescente
Character ha firmato nel 2024 un accordo da 2,5 miliardi di dollari per concedere a Google i suoi modelli di intelligenza artificiale in licenza. L'azienda offre diversi chatbot, ci sono anche imitazioni di celebrità e personaggi pubblici come Nicki Minaj e Elon Musk. Kathryn Kelly, portavoce di Character, ha spiegato che l'azienda rimuove i chatbot che violano i suoi termini di servizio e che "sta costantemente evolvendo e perfezionando le pratiche di sicurezza per contribuire a dare priorità alla sicurezza della nostra comunità".
"Quando siamo stati informati del personaggio di Jennifer, abbiamo esaminato il contenuto e l'account e abbiamo preso provvedimenti in base alle nostre policy". Kelly ha poi aggiunto: "Le segnalazioni di impersonificazione vengono esaminate dal nostro team Trust & Safety e il Character viene rimosso se si scopre che viola i nostri Termini di servizio".
Quali sono i rischi dell'IA che resuscita i morti
Secondo gli esperti del settore il caso solleva nuove preoccupazioni sulla possibilità di proteggere gli utenti dai potenziali danni di un servizio che può gestire grandi quantità di informazioni personali sensibili. Jen Caltrider, ricercatrice sulla privacy presso la fondazione non-profit Mozilla Foundation, ha criticato l'approccio di Character alla moderazione, ritenendolo troppo passivo per i contenuti che violavano palesemente i suoi stessi termini di servizio nel caso di Crecente.
"Se dicono ‘Non lo permettiamo sulla nostra piattaforma‘ e poi lo permettono sulla loro piattaforma finché non viene portato alla loro attenzione da qualcuno che è stato ferito da questo, non è giusto", ha sottolineato Caltrider. "E nel frattempo, guadagnano milioni di dollari".
Quello di Crecente non è un caso isolato. Su TikTok, per esempio, sono diventati virali video che utilizzano l'IA per imitare le voci e i volti di bambini scomparsi e produrre video in cui raccontano le loro morti. "Abbiamo un disperato bisogno che i legislatori e gli enti regolatori prestino attenzione ai reali impatti che queste tecnologie stanno avendo", ha spiegato Rick Claypool, esperto di chatbot AI per l'organizzazione non-profit Public Citizen. "Non possono semplicemente ascoltare i CEO delle aziende tecnologiche su quali dovrebbero essere le politiche… devono prestare attenzione alle famiglie e agli individui che sono stati danneggiati".
