Google ora può trasformare qualsiasi testo in una canzone: come funziona MusicLM

Che suono ha un Van Gogh, un luogo fisico, un’emozione o una parola accostata ad un’altra? Google prova a dare una risposta creando MusicLM, la nuova intelligenza artificiale (IA) capace di creare musica a partire da un testo.

E così scopriamo che “Notte stellata” è una tastiera che svolazza sugli acuti con un suono acido, e che basta scrivere “fuga dalla prigione”, per ottenere un basso saltellante con dei synth a dente di sega. Molto di più in realtà. Con in mano uno strumento del genere è sufficiente canticchiare una melodia per creare un assolo, un riff, o scrivere due frasi per ottenere una base. Insomma creare un brano senza nemmeno toccare uno strumento.

Cosa è in grado di fare MusicLM

Come scrive Google, MusicLM può "trasformare melodie fischiate e canticchiate secondo lo stile descritto in una didascalia di testo". Può anche generare "musica ad alta fedeltà da descrizioni testuali come una melodia di violino calmante accompagnata da un riff di chitarra distorto'". Sul sito del progetto, sono stati messi in vetrina alcuni esempi. Basta scrivere “Pezzo funky con un ritmo forte e ballabile e una linea di basso prominente, o una melodia orecchiabile di una tastiera che aggiunge uno strato di ricchezza e complessità alla canzone”, ed ecco che MusicLM è in grado di elaborare un brano tra i 30 secondi e i 5 minuti che rispecchia abbastanza fedelmente le indicazioni scritte.

Come funziona?

MusicLM è stata "addestrata" su 280.000 ore di musica, che sono la base da cui l’IA attinge per creare nuovi brani. “L'audio viene generato fornendo una sequenza di messaggi di testo”, spiega Google. “Le parole influenzano il modo in cui il modello continua i token semantici derivati ​​dalla didascalia precedente”. Il team di MusicLM può, per esempio, anche aggiungere sezioni melodiche per fornire esempi, un'indicazione in più oltre al prompt per indirizzare la macchina verso il risultato che si vuole raggiungere.

Gli esempi di Google

Sulla pagina di presentazioni, Google mette in mostra tutte le capacità di MusicLM. Dalla colonna sonora principale di un gioco arcade, ai synth pesanti generati da due parole: techno melodica. Riesce anche trasformare una melodia fischiata o canticchiata in altri strumenti, come una chitarra distorta, un organetto o un flauto. O creare dal nulla voci che cantano sulle basi create. L’unica pecca è la lingua, una specie di grammelot simile alla lingua inglese, o al Simlish del videogioco The Sims. Le parti cantate poi risultano granulose e patinate. MusicLM riesce anche a trasformare un Van Gogh o un Picasso in musica, a partire dalle descrizioni prodotte su Wikipedia. Sul documento del progetto Google ha caricato per esempio le opere “la Danza di Matisse”, che si traduce in un brano dance con i ritmi tribali o “l’Urlo” di Munch, un pezzo ambient noise con gli archi che stridono.

Musica e intelligenza artificiale

La musica generata dall'intelligenza artificiale ha una lunga storia. Già negli anni ‘90 David Cope artista e scienziato ossessionato dal blocco dello scrittore ha creato Emi (Experiments in musical intelligence) un programma capace di scrivere composizioni nello stile di Bach. Oppure Björk, che grazie all’IA ha creato un paesaggio sonoro generativo vivente per l’hotel Sister City di New York. Si chiama Kórsafn (in islandese “archivi dei cori”) una composizione in cui musica corale e arrangiamenti cambiano in base al meteo e alla posizione del sole.

Poi è stato creato Aiva, il programma che usa l’IA per scrivere brani musicali. Per creare musica basta accedere, selezionare lo stile desiderato, gli strumenti, e la durata del brano. È anche possibile scegliere i bpm e la nota dominante. Poi basta cliccare su “Genera” e in 15 secondi Aiva produce un brano seguendo le indicazioni dell’utente. È stato anche creato un software, che utilizza il motore di generazione di immagini AI StableDiffusion, per trasformare i prompt del testo in spettrogrammi che vengono poi tradotti in musica.

Quando sarà disponibile MusicLM

Google è cauto con MusicLM, ha infatti spiegato: "Non abbiamo in programma di rilasciare modelli a questo punto", si legge nel documento. Una decisione per evitare "l’appropriazione indebita di contenuti creativi". Al momento c’è abbastanza rumore sulla questione. Si pensi a Stable Diffusion e Midjourney che, in questo momento, hanno ricevuto una denuncia per essersi appropriati delle opere di artisti senza il loro permesso.