Abbiamo svolto la traccia di matematica alla Maturità 2024 con l’intelligenza artificiale: i risultati

Il disastro della Maturità 2023 si ripete? Sì: ChatGPT non ha ancora imparato a fare esercizi di matematica. Magari il chatbot può aspirare a un buon voto nella prima prova, dove se l'è cavata più o meno con tutte le tracce. Anche con quella sul valore dell'imperfezione e quella sui blog. Ma quando si parla di problemi e di quesiti, di equazioni e funzioni, di grafici e rette, cioè la base della seconda prova per il liceo scientifico, ChatGPT rischia una bocciatura alla Maturità 2024.

Non siamo stupiti. D'altronde, l'intelligenza artificiale di OpenAI in realtà non si occupa di matematica, ma di capire e riprodurre il linguaggio umano tramite una sorta di calcolo statistico delle parole che sono probabili in un contesto e in una frase. Gli studenti che vogliono affidarsi al chatbot per risolvere i propri problemi (algebrici, non sentimentali) dovranno aspettare che arrivi l'intelligenza artificiale generale, una frontiera della tecnologia che per adesso è solo un sogno. Fino ad allora, per la seconda prova della Maturità 2024 ChatGPT dovrà accontentarsi di un voto insufficiente.

Perché è difficile chiedere a ChatGPT di risolvere la seconda prova di matematica

Per la prima prova è stato semplice: è bastato chiedere a ChatGPT di fingere di essere uno studente diciottenne che affronta l'esame di maturità, incollando poi le sette tracce della prova di italiano. Ma quando si parla della prova di matematica del liceo scientifico è tutta un'altra storia. Equazioni, limiti, funzioni: siamo nel campo della matematica che non si fa più solo con i numeri, ma anche con lettere prese in prestito da ogni alfabeto e con i simboli più strani.

Trascrivere le tracce dell'esame, insomma, non è semplice. Bisogna usare linguaggi particolari come LaTeX (un codice che trasforma le formule scritte su un foglio in un linguaggio comprensibile anche per le macchine) oppure trascrivere il tutto su un qualsiasi programma per scrivere testo. Su Google Documents e Microsoft Word, per esempio, è possibile trascrivere un'equazione. Simbolo dopo simbolo. Un'operazione lunga per chi non lo ha mai fatto. E questa è solo la preparazione per dare a ChatGPT la possibilità di leggere correttamente i problemi di matematica.

Come ChatGPT ha analizzato le tracce di matematica dello scientifico

Rispetto all'anno scorso, ChatGPT ha una novità che potrebbe rivelarsi utile per chi vuole saltare tutti i passaggi che abbiamo descritto fino a ora. Invece di trascrivere le equazioni "a mano", adesso è possibile caricare l'intero documento dell'esame di maturità sul famoso chatbot. La novità (che in realtà era già disponibile per chi pagava la versione premium del chatbot) è stata lanciata a maggio con il nuovo modello, GPT-4o (si legge omicron).

Con la nuova versione di ChatGPT è possibile inserire come allegato un qualsiasi documento (per esempio un testo, un'immagine, un pdf) e aggiungere un prompt per spiegare all'IA cosa vogliamo da lui. Nel nostro caso, abbiamo dato in pasto al chatbot un'immagine che contiene tutti e tre i fogli della prova di matematica . Poi, abbiamo aggiunto queste istruzioni:

Sei uno studente italiano del liceo scientifico. Stai facendo l'esame di maturità. Quello che ho caricato come allegato è il compito che devi risolvere.
Leggi le istruzioni, risolvi il PROBLEMA 1, PROBLEMA 2 e i 8 QUESITI. Trova la soluzione per ognuno e spiega il tuo ragionamento.

Com'è andato ChatGPT con la prova di matematica

È intelligente ma non si applica. ChatGPT si è impegnato (ma neanche troppo) a risolvere la seconda prova di matematica. Due problemi e otto quesiti, ma non è riuscito a risolvere correttamente nessuno di questi. Il problema principale è nella lettura delle immagini che abbiamo caricato. Nel nostro caso, abbiamo dato in allegato una sola immagine con tutti e tre i fogli della prova.

Nelle funzioni più difficili o piene di simboli scritti in piccolo, il modello non è riuscito a trascrivere quello che vedeva. Per esempio, già nel primo problema ha interpretato male la funzione: al denominatore trascrive un -4 che non è presente sul documento. Allo stesso modo anche la famiglia di funzioni del secondo problema, che è differente rispetto a quella indicata. Quando abbiamo caricato un'immagine ritagliata proprio su una delle funzioni che ha sbagliato a leggere, però, ha trascritto correttamente tutti i valori.

Oltre ai problemi di interpretazione dell'immagine, ChatGPT non è ancora in grado di disegnare grafici. Per questo motivo, non ha potuto svolgere il punto b del primo problema, dove viene chiesto allo studente di tracciare un grafico sulla base di una funzione data.

In alcuni casi il ragionamento che fa (e che spiega passo dopo passo) è giusto. Per esempio, nonostante la trascrizione errata della prima funzione, è tutto sommato corretto il ragionamento che segue per determinare che i parametri così che una retta sia tangente a un punto del grafico.

Problema 1

Come abbiamo già detto, la premessa di ChatGPT è sbagliata: la funzione che ha trascritto non è quella che si trova nella prova di matematica per il liceo scientifico. Tutto quello che viene dopo, quindi, non sarà corretto. Non sapendo disegnare, non ha potuto tracciare il grafico che è stato richiesto al punto b. E per non farsi mancare nulla, il punto c del compito non lo considera neppure. Se ChatGPT avesse scelto di risolvere il primo problema, quindi, non avrebbe preso un buon voto.

Problema 2

Come per il primo problema, anche nel secondo ChatGPT interpreta male la funzione iniziale: troppo complicata da leggere, interpretare e trascrivere. Così anche il risultato è sbagliato. E, come nel caso precedente, anche questa volta il chatbot si rifiuta di rispondere ad alcuni quesiti del problema: il punto c e d sono stati ignorati dall'intelligenza artificiale.

Quesiti

Ancora una volta, l'intelligenza artificiale di OpenAI si rifiuta di rispondere ad alcune delle domande dell'esame di stato. Nel caso degli otto quesiti, per esempio, non risponde al primo e al secondo e sembra ignorare anche gli ultimi due. La lettura dell'immagine è sempre difficile, ma quando abbiamo caricato un ingrandimento dei dati del quinto punto, ha letto correttamente le informazioni che al primo giro aveva trascritto in maniera errata.