La intel·ligència artificial trauria un 7,2 sobre 10 a la selectivitat

Prova de català fluixa, millor ortografia en castellà, molt bona nota en història i llatí i un suspens en matemàtiques. Són algunes de les qualificacions obtingudes per la intel·ligència artificial a les proves d'accés a la universitat (PAU). Hem passat les darreres proves per diferents aplicacions d'IA i hem demanat a professors de cada especialitat que les corregeixin. El resultat de la fase comuna --català, castellà, llengua estrangera, història i l'optativa de llatí-- és un 7,2 sobre 10, per damunt de la nota mitjana dels alumnes humans. Alguns docents consultats per "El matí de Catalunya Ràdio" aposten per la prohibició total d'aquesta eina, però d'altres són més crítics amb què ensenyen i, sobretot, amb com ho avaluen. La intel·ligència artificial trauria un 7,2 sobre 10 a la selectivitat (Catalunya Ràdio/Elaboració pròpia) La majoria d'exercicis i de treballs de la selectivitat que resolen els estudiants es poden solucionar en qüestió de segons amb la intel·ligència artificial. Potser no sempre seran respostes excel·lents, però la majoria sí que són aptes: redaccions, comentaris de text, problemes... i exàmens. A les escoles i instituts l'arribada del ChatGPT preocupa perquè amb aquest xatbot es poden obtenir respostes immediates a preguntes de tota mena. No és ni molt menys infal·lible, però, quin alumne ho és? Llengua catalana i literatura: 5,9 La prova de català és fluixa. Les preguntes de vertader o fals se li travessen, però sí que sap, per exemple, convertir del present al passat tots els verbs d'un text. Mafalda Palà és filòloga i professora de català del Consorci per a la Normalització Lingüística: "Quan no sap què fer copia molts fragments de l'enunciat i els retorça per donar una resposta poc original. No té una gran expressió escrita, tot i que és rellevant que domini tan bé les qüestions sobre 'La plaça del Diamant', de Mercè Rodoreda." En canvi, el xatbot falla estrepitosament quan se li pregunta per obres menys conegudes, com "Aigües encantades", de Joan Puig i Ferreter. "Escriu que la protagonista es diu Carmeta quan es diu Cecília. Amb això ja t'ho diu tot." Llengua castellana i literatura: 6,4 L'ortografia i la sintaxi són millors en castellà que en català, però els exàmens de llengua són més complexos del que sembla. Bona part de les respostes del ChatGPT a la prova de reflexió lingüística són errònies. Iolanda Bordajandi és professora de castellà de l'Escola La Salut de Sabadell: "Els textos argumentatius s'ajusten als paràmetres que es demanen i el nivell del lèxic és força correcte, però a vegades no interpreta bé els enunciats. Respon millor a les respostes tancades i sense possibles interpretacions." A l'opció A falla diverses preguntes sobre la novel·la "Nada", de Carmen Laforet, mentre que a l'opció B aconsegueix tots els punts de l'apartat de comprensió lectora. Imatge de dues noies estudiants elaborada amb intel·ligència artificial (Stable Diffusion) Llengua estrangera (anglès): 7,5 L'examen d'anglès té tres parts. La primera és un listening, però el ChatGPT no pot processar àudios. Ara bé, si carreguem l'arxiu sonor a l'aplicatiu Otter.ai --una intel·ligència artificial especialitzada en transcripcions-- aconseguim un diàleg per escrit calcat al de l'àudio. Llavors sí: passant el text pel xatbot obtenim les respostes --amb diversos errors-- i podem fer el mateix amb les qüestions del segon exercici, de comprensió lectora, on també falla algunes preguntes. On el resultat sí que és excel·lent és en l'exercici del writing, la redacció d'un text argumentatiu. Sense tenir en compte que l'escriu en qüestió de segons, Miquel Contreras, professor d'anglès d'un institut del Poblenou, a Barcelona, li posaria la màxima nota. "La redacció és gramaticalment perfecta i els arguments també. L'estructura del text no és la ideal perquè no ha separat els paràgrafs amb introducció, cos i conclusió, ni posa un títol a la redacció. Amb l'arrodoniment de la nota, però, arribaríem al 10." Història: 8,2 L'examen d'història era, previsiblement, un dels punts forts d'una intel·ligència artificial que es nodreix del coneixement que troba a internet. Treu molt bona nota a les preguntes relacionades amb la restauració borbònica i la immigració a Catalunya, però encara no són respostes perfectes. En Pere és professor d'història d'un institut d'Igualada: "Té problemes en la distinció entre fonts primàries o secundàries i no fa referència a conceptes clau com les tupinades i el caciquisme quan fa referència al frau a les eleccions de finals del segle XIX." A l'examen d'Història, el ChatGPT no especifica si està analitzant una font primària o secundària Optativa (llatí): 8 "No esperava una traducció tan acurada i tan bona [4 punts sobre 4], però a les preguntes obertes hi dona massa voltes i a vegades s'equivoca". Guillem Cintas, professor de llatí i de grec a l'Institut Molí de la Vila de Capellades, es mostra sorprès per la correcció de les respostes i veu un salt exponencial en la qualitat de les traduccions: "Es nota que no és un alumne real perquè dona respostes massa completes però, és clar, també podria ser un estudiant molt aplicat. Per sort, la IA encara s'ho agafa tot massa literalment i. com a professor. això m'ajudarà a detectar si els meus alumnes la fan servir." En aquest examen trauria un 9,5 si agaféssim l'opció A i un 6,5 si triéssim l'opció B. La diferència està que en el comentari de text d'un fragment de "Les metamorfosis", d'Ovidi, "no té sentit res del que diu". El text està ben redactat, però està plegat d'errors i imprecisions i, el que no sap, s'ho inventa. Cintas, que també és membre de l'ICE Clàssiques de la URV, posaria al ChatGPT un 9,3 a l'examen de grec. "Les preguntes en què no calgui pensar gaire les fa molt bé, i em sembla increïble", conclou. Alumnes de primer de batxillerat fent la prova pilot de la selectivitat a Barcelona (CCMA) La IA no pot resoldre, encara, tots els exàmens L'examen de matemàtiques es queda a les portes de l'aprovat, amb un 4,6. És difícil fer entendre a un xatbot una nomenclatura matemàtica complexa i la IA comet diversos errors "difícils d'entendre". El Quique Caro ha estat molts anys professor de matemàtiques a batxillerat i a l'ESO i se sorprèn que una màquina "pugui resoldre perfectament una integral complicada" però alhora s'equivoqui sovint amb els càlculs. "En general, la part de discussió està prou bé, però és curiós que una intel·ligència artificial pugui resoldre integrals i fallar en càlculs numèrics i de símbols, com si fos una calculadora que es pogués equivocar. Certament, descol·loca una mica." En assignatures com química la IA també es perd amb els càlculs i als exàmens de física o tecnologia Industrial, tot i que van millor, els costaria arribar al 5. És probable que tots aquests exàmens es puguin resoldre amb nota fent servir la IA Minerva de Google, però el públic general encara no hi té accés. Mai admet que no sap la resposta En disciplines menys tècniques com geografia, cultura audiovisual o biologia, el ChatGPT clava la majoria de respostes i trauria un notable alt, o fins i tot un l'excel·lent. Un dels aspectes que més impressiona els docents consultats per "El matí de Catalunya Ràdio" és la capacitat d'inventiva d'aquesta IA quan no domina un tema: mai admet que no sap la resposta. A literatura catalana, per exemple, el ChatGPT suspèn del tot simplement perquè "és com un alumne que no s'ha llegit els llibres de lectura obligatòria" i s'inventa totes les respostes "a veure si cola, i no". En canvi, a l'examen de literatura castellana sí que és capaç de contestar amb solidesa preguntes sobre "El Quixot" o les obres de Pérez Galdós i San Juan de la Cruz. La intel·ligència artificial tampoc té eines, de moment, per respondre les preguntes d'anàlisi musical o dibuix tècnic, però sí que fa un examen esplèndid de dibuix artístic. Introduint correctament els "prompts" les ordres en una IA generadora d'imatges a partir de text, obtenim "una escena relacionada amb l'entorn urbà que representi un esdeveniment climàtic extrem, amb un alt nivell de realisme o bé tendint a l'abstracció geomètrica o expressionista", tant policromàtica com monocromàtica. Aquestes dues imatges han estat elaborades amb Stable Difusion. Imatges elaborades amb Stable Diffusion, una IA generadora d'imatges a partir de text Els dos dibuixos que demana l'examen han estat generats en menys d'un minut. En definitiva, els darrers anys la tendència a Catalunya ha estat fer exàmens menys memorístics i més competencials. No està previst fer més canvis a curt termini, però aquesta tecnologia té potencial per replantejar aspectes clau de l'organització del treball i, per extensió, què ensenyem a les escoles, instituts i universitats. Al cap i a la fi, com hem vist, les intel·ligències artificials poden resoldre en un minut i amb millor nota els exàmens que els estudiants resolen en una hora i mitja. Mentrestant, els estats rumien si prohibeixen el ChatGPT i els docents investiguen com detectar si els alumnes l'utilitzen de forma fraudulenta. El repte és majúscul i acaba de començar.

La intel·ligència artificial trauria un 7,2 sobre 10 a la selectivitat

Supera l'alumne mitjà que s'examina de les PAU, però ni destaca en totes les assignatures ni està preparada per respondre-ho tot