L’IA ha finito i dati su cui allenarsi, il fondatore di OpenAI spiega perché può diventare “imprevedibile”
Siamo a un momento di svolta nello sviluppo dei Large Language Model (LLM) come ChatGPT: "La fase si pre-allenamento come lo conosciamo oggi sta finendo". Ad annunciarlo non è un esperto di intelligenza artificiale (IA) qualunque, ma uno dei fondatori di OpenAI, nonché ex direttore della ricerca, tra le menti che hanno dato vita ChatGPT, Ilya Sutskever.
Durante una conferenza a Vancouver, in Canada, lo scienziato russo – che da un anno ha lasciato OpenAI per fondare il suo laboratorio di intelligenza artificiale Safe Superintelligence Inc. – ha spiegato che mentre le capacità di calcolo di ChatGPT continuano a svilupparsi e a diventare sempre più potenti, i dati che sono stati utilizzati finora per il suo addestramento stanno ormai finendo. Sembra difficile da credere, ma per quanto vasto sia, anche il web ha una fine: "I dati non aumentano, perché abbiamo solo un internet", ha detto Sutskever.
Abbiamo finito i dati su cui addestrare l'IA
Cosa significa questo? Il fatto che stia volgendo al termine la fase di pre-addestramento non significa che i Large Language Model non avranno altri progressi. Gli scenari possibili sono diversi. L'ex numero due di OpenAI ha detto che la stessa intelligenza artificiale potrebbe generare nuovi dati, oppure i Large Language Model potrebbero adottare metodi di ragionamento più simili a quelli umani, mentre alcuni scienziati stanno valutando la possibilità di attingere al mondo reale per dare in pasto all'intelligenza artificiale nuovi dati su cui migliorarsi.
Il fatto che finora l'IA alla base dei Large Language Model si stesse allenando è apparso evidente tutte le volte in cui ChatGPT è incappato in errori grossolani, delle vere e proprie allucinazioni. In sostanza, una volta esaurita la fase di pre-addestramento, quella durante la quale i Large Language Model imparano attingendo a una grande quantità di dati non etichettati, le aziende dovranno trovare altre fonti di materiali. Il padre di ChatGPT ha spiegato la situazione paragonandola a quello che da qualche decennio sta succedendo con i combustili fossili: si stanno esaurendo, per questo la produzione energetica deve necessariamente puntare su altre fonti.
Come sarà ChatGPT del futuro
Su un punto Sutskever non ha dubbi: ci attende un futuro di macchine superintelligenti che ragioneranno sempre più imitando il pensiero umano, con una comprensione sempre più profonda, fino a diventare consapevoli di se stessi. Mentre oggi i modelli che utilizzano l'intelligenza artificiale sono degli agenti, ovvero automatizzano processi complessi che altrimenti richiederebbero l'intervento umano, copiando però un modello che hanno già appreso, in futuro impareranno a ragionare, pur partendo da dati limitati, acquisendo una modalità simile a quella del pensiero umano. Tuttavia, più l'intelligenza artificiale si eserciterà a ragionare – ha detto Sutskever – maggiori saranno le probabilità che possa diventare imprevedibile.
