ChatGPT supera i test di informatica all’Università di Torino: “Gli studenti devono imparare a usarlo”
Aula di informatica, Università di Torino. C'è un test in corso, eppure tutti i banchi sono vuoti, i docenti fissano lo schermo di un computer che sputa fuori risposte corrette. A essere sotto esame è ChatGPT, il software di OpenAi che scrive come un umano e supera le prove scritte come una matricola del primo anno di informatica. Non stupisce, ha già scritto saggi, tesine, romanzi, favole per bambini e parla su Tinder al posto degli utenti. I docenti dell'Università di Torino però hanno voluto metterci mano per vedere con i loro occhi se ChatGPT fosse al livello dei loro studenti, e subito dopo capire se potesse essere o meno uno strumento valido per copiare.
È la prima volta forse, dopo internet, che una tecnologia dirompente chiede di cambiare gli schemi. L'ennesimo esperimento è la dimostrazione che non basta qualche ban per frenare il chatbot, e nemmeno provare a sostituire gli scritti con gli orali sembra una grande idea. Al momento ChatGPT non è raggiungibile in Italia senza un VPN a causa del blocco imposto dal Garante della Privacy. Come insegna la Storia, dopo aver costruito un quadro normativo solido, sarà necessario integrare il software, conviverci, usarlo come alleato. Insomma, nessuno si sognerebbe oggi di togliere la calcolatrice durante una prova di matematica all'Università, e forse sarà la stessa cosa con ChatGPT.
L'esperimento dell'Università di Torino
È iniziato come un gioco, per testare il chatbot geniale, per capire se fosse bravo come tutti dicono. I docenti del dipartimento di Informatica dell'Università di Torino hanno posto a ChatGPT le domande che di solito fanno ai test scritti del primo anno e il software è stato al passo. "L'esperimento è stato fatto a dicembre, ancora con ChatGPT v3, a cui abbiamo somministrato testi di esercizi di corsi del primo anno di Informatica, precisamente dei corsi di Programmazione e di Architetture degli Elaboratori" ha spiegato a Fanpage.it il professor Elvio Amparore, uno dei docenti che ha eseguito il test. "Nel primo caso si trattava di realizzare dei piccoli programmi in linguaggio Java, partendo da una richiesta formulata in Italiano. Nel secondo caso si trattava di scrivere codice in linguaggio macchina per microprocessori RISC-V, di nuovo partendo da una richiesta in Italiano. Le risposte che sono state fornite erano (quasi) corrette, alcune volte con piccoli errori, ma comunque molto verosimili alle risposte attese".
Questo perché gli esercizi proposti al primo anno sono in una certa misura standard, "cioè è sicuramente possibile trovare esercizi analoghi in libri di informatica o nei test di altre università. Per cui in un certo senso non sorprende che un sistema di intelligenza artificiale sia capace di produrre risposte esatte". Facciamo una premessa, come succede anche per gli umani, ChatGPT sa quello che gli viene insegnato, e dato che il software è stato addestrato proprio con con le domande dei test universitari del primo anno di college riesce a sostenere anche un esame da matricola all'Università di Torino.
Non solo in ambito informatico, il chatbot aveva già superato un test di giurisprudenza per l'Università del Minnesota, la 21° migliore scuola di legge del Paese, secondo US News & World Report. Anche in quel caso i professori avevano chiesto a ChatGPT di sostenere gli esami delle seguenti materie “illeciti, benefici per i dipendenti, tassazione e aspetti del diritto costituzionale”, i test erano composti da 95 domande a scelta multipla e 12 domande a risposta aperta.
ChatGPT è performante ma non sa ragionare
Il team ha deciso di alzare l'asticella. Non le domande base, ma quelle di un esame di algoritmi avanzati della laurea magistrale. E in questo caso non è andata così bene, ChatGPT ha dato risposte completamente sbagliate che però non hanno stupito i ricercatori: "Partendo dal testo in Italiano che chiede di elaborare algoritmi complessi di trasformazione e ottimizzazione di dati, le risposte ottenute erano generiche e inutilizzabili. Questo perché si tratta di problemi molto specifici, che richiedono allo studente di ragionare: ma i Large Language Model non sono (al momento) adatti a risolvere questa tipologia di problemi che richiedono profondo ragionamento". Ma è solo l'inizio, e come spiega Amparone c'è ancora molto potenziale inesplorato e un ampio margine di miglioramento. "L'AI generativa è un treno che ormai è partito, e dovrà essere tenuta in considerazione seriamente d'ora in avanti, in tanti ambiti (non solo l'istruzione)."
Il problema degli esami copiati
Non solo un esperimento per misurare la capacità del software: "Al momento ci stiamo preoccupando di verificare che i nostri esami siano adatti a verificare l'apprendimento degli studenti, non quanto gli studenti siano bravi ad usare tali strumenti". Che il chatbot sia lo strumento perfetto per copiare l'hanno capito tutti subito. E infatti prima dei problemi di privacy e utilizzo dei dati, quelli che hanno imposto il blocco del Garante della Privacy in Italia, ChatGPT è stato un problema per le scuole. Tanto che quelle di New York dopo qualche settimana dal lancio del software di OpenAi avevano deciso di bloccare il sistema su tutte le reti scolastiche e sono anche stati denunciati sui social allievi che avevano presentato saggi e tesine scritte con il chatbot.
Anche per l'Università di Torino potrebbe essere un problema, ma come sottolinea Amparone: "Negli esami gli studenti non hanno accesso ad Internet, quindi comunque strumenti come ChatGPT non sono (al momento) usabili. Già usano occasionalmente questi strumenti, ed è importante anche che imparino a usarli, perché sono comunque da vedere prima di tutto come opportunità. Ovviamente in sede d'esame il nostro ruolo è deve verificare la preparazione dello studente, non la capacità di interrogare un'AI".
Non solo per gli esami ChatGPT si è dimostrata bravissima a scrivere tesi, saggi o ricerche. Al di là dei blocchi, degli esami orali (che non possono sostituire in toto gli scritti) e anche delle campagne di sensibilizzazione per gli studenti, che sono già state fatte negli Stati Uniti per incentivare il fair play, e sostenute anche da Amparone, forse sarà necessario ribaltare tutto. "L'AI generativa cambierà sicuramente il modo di insegnare e studiare (e non solo). Difficile dire in che modo".
