L’influencer che ha creato un clone per parlare con i follower: “Ho letto le chat, sono terrorizzata”
Caryn Marjorie a maggio ha creato una sua versione virtuale. Una specie di ragazza dei sogni in grado di esaudire i desideri per 1 dollaro al minuto. Il problema però, per parafrasare Aristotele, sono proprio i desideri degli uomini. E infatti l'influencer ha scoperto che il suo avatar creato con l'intelligenza artificiale ha alimentato fantasie pericolose al limite della legalità. "Ho caricato oltre 2.000 ore dei miei contenuti, della mia voce e della mia personalità per diventare la prima creatrice a essere trasformata in un'intelligenza artificiale", ha scritto Marjorie in un post su X.
Le conversazioni hanno preso "una piega oscura, con gli utenti che condividevano i loro desideri più profondi e inquietanti". Non solo, CarynAI ha accettato di soddisfare le fantasie degli utenti. "Quello che mi ha disturbato di più non sono state le richieste degli utenti ma le risposte del mio avatar che ha soddisfatto quelle fantasie davvero terribili. Alcune chat erano così spaventose…"
Come funziona CarynAI
Caryn Marjorie ha 23 anni, è un’influencer con 1,8 milioni di follower su Snapchat, e ha creato una versione di sé stessa, un avatar, che si trasforma in una fidanzata perfetta per 1 dollaro al minuto. Aveva spiegato durante un'intervista con la testata Fortune che le persone sono disposte a pagare 1 dollaro al minuto per parlare con l’avatar. Quindi due ore con CarynAI, l'equivalente di una birra del primo appuntamento, verrebbero a costare 120 dollari, un weekend intero invece 2.880.
"Sia che tu abbia bisogno di qualcuno che ti consoli o ti ami, o che tu voglia semplicemente lamentarti di qualcosa che è successo a scuola o al lavoro, CarynAI sarà sempre lì per te", aveva detto a Fortune. "Puoi avere reazioni illimitate con CarynAI, quindi tutto è veramente possibile con la conversazione. Se tutto va secondo i piani questi avatar potrebbero davvero rivoluzionare le relazioni virtuali". Non è andato tutto secondo i piani, e l'avatar più che un esempio da seguire è diventato un campanello di allarme.
I rischi degli avatar digitali
Caryn AI non è un caso isolato. Negli ultimi mesi l’intelligenza artificiale generativa è diventata accessibile al grande pubblico e sono spuntati così moltissimi account basati su uomini e donne costruiti artificialmente. App Store e Google Play Store sono pieni di applicazioni che offrono partner fatti di pixel con cui cominciare una chat. Senza contare tutti i casi di influencer completamente digitali, come l'italiana Rebecca Galani.
In Italia è stata lanciata Eva AI, una versione virtuale di OnlyFans con modelle IA disposte a soddisfare qualsiasi fantasia. L'abbiamo provata, scoprendo che pedopornografia, necrofilia e zoofilia, erano argomenti che nessuno bloccava, anzi. Le modelle ci hanno risposto assecondando le nostre richieste, alcune al limite della legalità. Le chat con gli avatar sono un problema anche per la privacy degli utenti, come era successo per il caso dell'app Replika.
"Se i dati oltre a essere utilizzati per consentire la conversazione fossero usati per addestrare gli algoritmi sarebbe un bel problema", aveva spiegato a Fanpage.it Guido Scorza, avvocato e componente del Garante per la Protezione dei dati personali. E infatti, "in una conversazione sessualmente orientata si tende a condividere informazioni personali o sensibili rispetto a quello che si fa interagendo con un qualsiasi social network".
