Perché molti stanno dicendo che ChatGPT è diventato più stupido

Può diventare più stupido qualcosa che non è mai stato intelligente? In un certo senso sì. Stiamo parlando di ChatGPT, il chatbot di OpenAi che è diventato il baluardo della rivoluzione dell'intelligenza artificiale (anche se la storia è molto più lunga, ma ci arriviamo). A novembre 2022 esordisce con i fuochi d'artificio e ora a distanza di mesi gli utenti scrivono sui social: "È come aver guidato una Ferrari per un mese, poi all'improvviso si trasforma in un vecchio pick-up scassato". Tra i post degli insoddisfatti si legge anche il commento di Peter Yang, responsabile di Roblox, scrive: "ChatGPT è cambiato di recente. Genera più velocemente, ma la qualità sembra peggiore. Forse OpenAI sta cercando di risparmiare sui costi. Qualcun altro ha notato questo?". La domanda è quasi retorica.

Qualcosa non va, a confermarlo è anche un documento pubblicato martedì dai ricercatori della Stanford University e della UC Berkeley, che mostra i cali di performance di ChatGPT, ha rilevato che le prestazioni dei modelli di intelligenza artificiale GPT-3.5 e GPT-4 "sono variati notevolmente". GTP 4 però è l'ultima versione che, a detta di OpenAi avrebbe dovuto potenziare ulteriormente il chatbot, e invece no. E infatti a marzo riconosceva i numeri primi con una precisione del 97,6% a giugno del 2,4%. Non solo, siamo anche entrati nelle chat dei programmatori per capire quali sono i problemi che stanno riscontrando quando usano GPT4. Scrivono: "È orribile, vi prego ridateci il vero ChatGPT".

Per capire cosa sta succedendo torniamo alla domanda iniziale. ChatGPT non è mai stato intelligente, ha letto quasi tutto su Internet e sa come dovrebbe "suonare" il linguaggio umano. Basta. Non ha contatto con la realtà, produce quello che sembra sensato, e ama i clichè che sono l'ingrediente fondamentale della sua dieta, ma non può relazionarsi con in mondo. Non può diventare più stupido ma può sembrarlo. E molto probabilmente dipende solo da come l'azienda ha deciso di bilanciare il rapporto qualità prezzo.

Le origini dell'intelligenza artificiale

La tecnologia alla base delle reti neurali è stata in realtà teorizzata e in un certo senso messa in pratica già negli anni '90. Si potevano generare immagini come su Midjouney o Dall-E, solo che erano forme amorfe e astratte, ancora confuse. I chatbot invece già negli 1964 davano spettacolo. Joseph Weizenbaum, un informatico del Massachusetts Institute of Technology, sviluppò Eliza, un chatbot psicoterapeuta che se dicevi “ho paura”, rispondeva con “Perché hai paura?”. Bravi quindi a seguire discorsi riflessivi.

Dentro i dipartimenti accademici la tecnologia è stata man mano affinata ma le prime intelligenze artificiali non avevano abbastanza dati e potenza di calcolo. In poche parole erano macchine funzionanti ma senza benzina. Ora quelle reti neurali fragili sono diventate superpotenti, e OpenAi ha deciso di mettere tutto questo dentro un chatbot conversazionale interattivo: ChatGPT.

Il passo indietro di ChatGPT

Come sempre si va avanti per modelli che dovrebbero essere via via più performati, e infatti dopo GPT 3 è stato lanciato GPT 4. In questo caso però non è andato tutto secondo i piani, almeno secondo lo studio pubblicato dalla Stanford University e della UC Berkeley. Ethan Mollick, professore di innovazione alla Wharton in risposta alla ricerca ha scritto su Twitter: "Il documento non capisce perché si stia verificando il degrado delle capacità. Non sappiamo nemmeno se OpenAI sappia che ciò sta accadendo". Il test di valutazione però ha mostrato che "le prestazioni dei modelli d'intelligenza artificiale GPT 3.5 e GPT 4 sottostanti del chatbot  sono variati notevolmente". A giungo il chatbot ha riscontrato "più errori di formattazione nella generazione del codice" rispetto all'inizio di quest'anno, ed è "meno disposto a rispondere a domande sensibili".

Il problema dietro a GPT 4

In GPT 4 non ci sarebbe una sola intelligenza artificiale, ma un gruppo di 16 IA più piccole che elaborano le informazioni a seconda delle necessità. Ogni IA è addestrata su aree tematiche specifiche. Quindi se un utente fa una domanda il sistema dovrebbe riuscire a individuare quali sono i modelli più adatti da interpellare per generare una risposta. Questo approccio viene chiamato Mixture-of-Experts (MoE), e potrebbe essere alla base del problema.

Il CEO dell'Allen Institute for AI Oren Etzioni in una e-mail a Insider ha scritto: "Ci sono due ragioni tecniche per utilizzare un approccio MOE: risposte generate meglio e risposte più economiche e più veloci, la miscela ‘giusta' ti darà entrambi, ma spesso c'è un compromesso tra costo e qualità", ha aggiunto Etzioni. "In questo caso è probabile che OpenAI stia sacrificando una certa qualità per un costo ridotto".

Dentro le chat dei programmatori che criticano GPT4

OpenAI ha respinto l'ipotesi. Peter Welinder, vicepresidente del prodotto di OpenAI, che ha twittato la scorsa settimana : "No, non abbiamo reso GPT-4 più stupido. Al contrario: rendiamo ogni nuova versione più intelligente della precedente". Eppure gli esperti di intelligenza artificiale non la pensano allo stesso modo. Siamo entrati nella chat di un forum di programmatori dedicato a OpenAI e abbiamo letto: "È deludente", "è pigro", "non funziona più come dovrebbe", "è assolutamente orribile ora, GPT-4 inizierà a ripetere ripetutamente l'output di codice o altre informazioni". "Ho anche io notato falle logiche nelle sue risposte, mi sembra chiaro che GPT4 non funzioni". Secondo molti programmatori perde il filo del discorso, dà risposte imprecise, fa errori e si ripete come un pappagallo artificiale. "Non segue le istruzioni, non capisce gli output e dà risposte allucinate, ridateci il vecchio GPT".

L'abbiamo chiesto a ChatGPT

Nel prompt abbiamo scritto: "ChatGPT perché gli utenti stanno dicendo che sei diventato più stupido?" E il chatbot ha risposto.

Ciao! Come intelligenza artificiale, non ho coscienza né emozioni, quindi non posso diventare né più intelligente né più stupido. La mia capacità di rispondere alle domande si basa sulla vastità del mio addestramento e sulle informazioni disponibili fino al mio ultimo aggiornamento a settembre 2021.

Gli utenti potrebbero percepire una variazione nella qualità delle risposte per alcuni motivi:

Contesto: Le risposte possono sembrare "meno intelligenti" se il contesto della domanda è ambiguo o poco chiaro. La mia risposta dipende dalle informazioni fornite nella domanda.

Addestramento limitato: La mia conoscenza si ferma a settembre 2021, quindi potrei non essere a conoscenza degli eventi o degli sviluppi successivi a quella data.

Errori di comprensione: Come intelligenza artificiale, posso fare errori di comprensione o fornire risposte inesatte se le informazioni fornite sono fuorvianti o ambigue.

Sensibilità alla sequenza: In alcuni casi, se le domande vengono poste in sequenza, potrebbe sembrare che la qualità delle risposte diminuisca. Tuttavia, ogni domanda viene valutata indipendentemente e senza considerare il contesto delle domande precedenti.

Per migliorare la qualità delle risposte, è essenziale formulare domande chiare e precise e fornire tutti i dettagli necessari. Sono sempre qui per aiutarti nella misura delle mie capacità e conoscenze!