TikTok rilascia degli avatar fatti con l’IA: dopo un paio di giorni iniziano a dire frasi naziste

Mentre scrolli, a metà fra un video di un gatto che fa cose buffe e uno di una ricetta, una pubblicità interrompe il flusso di intrattenimento su TikTok. Una giovane ragazza sta parlando mentre è seduta in cucina. Bionda, occhi chiari, pelle diafana. Con il suo maglioncino a collo alto sta spiegando qualcosa con tono convincente. O almeno così sembra a una prima occhiata.

Poi, concentrandoti su quello che sta dicendo, rimani spiazzato: sta pronunciando le "quattordici parole", una frase neonazista. Oppure sta dando dei consigli che potrebbero essere presi per veri ma invece sono dannosi per la salute. Oppure afferma "semplicemente" che la Terra sia piatta. Nessuno di questi scenari diventerà realtà, ma ci siamo andati molto vicini.

Cos'è Symphony, l'insieme di strumenti IA per gli account Business su TikTok

Tutto parte da Symphony Digital Avatars, la nuova funzionalità di TikTok che permette di creare delle pubblicità usando degli attori. O meglio, usando la loro versione deepfake. Basta avere un account Business sul social di ByteDance e un copione da dare in pasto all'intelligenza artificiale. La novità è stata introdotta a metà giugno per fornire alle aziende una serie di strumenti alimentati dall'IA per realizzare le pubblicità che finiranno poi fra un video e l'altro. E in effetti la versione ufficiale di Symphony è innocente fino a prova contraria: possono essere usati solo copioni che rispettano le regole della piattaforma.

Dai primi giorni di vita della nuova funzionalità, però, è stata diffusa per sbaglio una versione interna utilizzata dagli sviluppatori di TikTok per mettere alla prova la tecnologia. Qualcosa che non sarebbe mai dovuto uscire dagli uffici dell'azienda e che è stato dato in pasto a un numero selezionato di utenti.

Perché la nuova funzionalità potrebbe essere pericolosa

Non solo la frase di propaganda neonazista, ma anche la "Lettera all'America" attribuita a Bin Laden, oppure un video in cui si invitano gli utenti a bere candeggina mettendoli così in pericolo. Gli avatar deepfake di TikTok hanno pronunciato tutto quello che in teoria è vietato sulla piattaforma grazie a un semplice copione, come ha evidenziato un servizio dell'emittente americana Cnn.

La versione di Symphony è rimasta accessibile a tutti gli account, non solo a quelli Business, per diversi giorni. “Abbiamo risolto un errore tecnico che permetteva a un gruppo di utenti estremamente piccolo di creare contenuti usando una versione interna per testare lo strumento”, ha spiegato una portavoce di TikTok. Che poi ha aggiunto che i contenuti problematici prodotti grazie a Symphony, se caricati su TikTok, "sarebbero stati rifiutati per violazione delle nostre politiche".

Nessun pericolo di vedere frasi naziste o teorie del complotto fra le pubblicità di TikTok generate con l'intelligenza artificiale, o almeno finché qualcuno non troverà il modo per aggirare i controlli che in effetti esistono nella versione "originale" di Symphony. Il vero pericolo, in realtà, arriva proprio dalla versione legittima. I video deepfake iper-realistici generati da Symphony, infatti, non hanno nessun watermark visibile e non ci sono problemi a scaricarli per poi pubblicarli su altre piattaforme. Anche senza scadere in casi estremi come quelli sperimentati in questi giorni, quindi, è molto semplice generare così dei video di disinformazione che possono essere diffusi per veri, senza che ci sia nulla a segnalarlo.