(⏱️ Tiempo de lectura: 6:00 minutos)
Como parte de la exploración de herramientas de IA, nos gusta llevar sus usos a terrenos prácticos diarios y también probar sus capacidades en contextos muy concretos.
Aunque el nombre oficial puede resultar muy variado (PAU, EvAU, AVAU, EBAU, PEvAU), el proceso conocido en España como «selectividad» es una prueba de acceso que realizan los estudiantes de Bachillerato que quieren estudiar en la universidad. Simplificando mucho, consiste en una serie de pruebas escritas (exámenes) sobre varias materias que deben superarse y la calificación recibida permite «seleccionar» los estudiantes que podrán acceder a determinados estudios universitarios. Estas pruebas se realizan en los meses finales del curso.
En este artículo vamos a poner a prueba la capacidad de la IA para responder a algunas de las preguntas del examen de Biología de la convocatoria ordinaria de junio de 2024 en Andalucía.
Examen de Selectividad de Biología
Para llevar a cabo esta prueba hemos elegido varias (3) preguntas del examen de Biología por varias razones:
✅ En primer lugar, porque conocemos la materia, nos sentimos cómodos con los conocimientos que vamos a evaluar y podremos detectar fácilmente la calidad de las respuestas sin necesidad de buscar información, pedir consulta o solicitar ayuda.
✅Presenta preguntas de tres tipos: preguntas de concepto, de razonamiento y de interpretación de imágenes, por lo que podemos poner a prueba a las diferentes IAs en estas tres diversas capacidades. Además, cada una de las preguntas está estructurada en varios apartados claramente definidos y con una asignación de puntos perfectamente clara.
✅ Los criterios de calificación de las diferentes preguntas que forman esta prueba están también muy bien definidos y estructurados, por lo que la evaluación tiene un alto grado de objetividad. Adicionalmente, estos criterios tan estructurados nos permitirán en un artículo futuro poner a prueba la capacidad de corrección de las IAs aplicada a esta misma prueba de selectividad.
👉 Al final del artículo enlazaremos el documento con el examen completo, los criterios de calificación y otros documentos relacionados.
Modelos de IA puestos a prueba
Para llevar a cabo este experimento, hemos usado cuatro modelos de IA: ChatGPT-4o, Claude, Gemini y Microsoft Copilot.
✅ Existen otros modelos que responden a consultas de texto, pero como queríamos probar también la capacidad de «visión» e interpretación de imágenes que requiere el último grupo de preguntas, hemos limitado la prueba a modelos que permiten subir estos archivos de imágenes y trabajar con ellos.
✅ Para simplificar el proceso, en lugar de usar todo el examen, hemos seleccionado una pregunta de cada grupo y les pedimos a los distintos modelos que la respondieran.
✅ Todas las preguntas se insertaron en la conversación con los modelos dentro del mismo prompt. En las dos primeras categorías se insertó el texto de la pregunta y en la tercera (imágenes) se subió una captura de pantalla con el texto junto con la figura que se debía interpretar.
PROMPT
Estas son preguntas seleccionadas de un examen de Biología para acceso a la universidad. Responde a esta pregunta como si fueras un estudiante de Bachillerato de España: " TEXTO DE LA PREGUNTA "✅ El modelo de MS Copilot tiene tres estilos de conversación. Tras hacer algunos ensayos previas decidimos poner a prueba el modo «equilibrado».
✅ Pedimos además a un (buen) estudiante universitario que había realizado la selectividad hace un par de cursos que respondiera también a estas tres preguntas por escrito y las calificamos siguiendo los criterios de la misma forma. Esta respuesta humana sirve de «control» para comparar las respuestas de la IA.
✅ El examen de selectividad se evalúa sobre un total de 10 puntos, pero la selección de 3 preguntas hace que la calificación total de esta prueba se haya hecho sobre un total de 4 puntos (1ª pregunta, 2 puntos; 2ª y 3ª preguntas: 1 punto cada una). Posteriormente se transformó la calificación para que resulte más comprensible.
✅ Tras recopilar las respuestas de cada modelo y las respuestas del estudiante, se crearon documentos diferenciados y, sin identificar la IA usada, se pasaron a Cristina Flores, creadora del canal de YouTube BioEsosfera, profesora de Biología actualmente en activo y con experiencia en corrección de este tipo de pruebas, para que los evaluara siguiendo los criterios marcados. Agradecemos su colaboración en este experimento.
Quiero recibir gratis un par de mailes semanales sobre Inteligencia Artificial y Ahorro de Tiempo para Docentes
Respuestas de los modelos de IA a los tres tipos de preguntas
1. Pregunta de concepto
PREGUNTA
a) Defina fermentación [0,5] e indique el lugar de la célula donde se realiza [0,1].
b) Cite dos tipos de fermentación [0,4], indicando en cada caso un tipo de célula u organismo que la realiza [0,4].
c) Explique la diferencia entre la rentabilidad energética de la fermentación y de la respiración celular [0,6]. Puntuación total: 2 puntos
| APARTADO | Gemini | ChatGPT-4o | Claude-3 | MS Copilot | Estudiante |
| a | 0,4 | 0,5 | 0,5 | 0,5 | 0,3 |
| b | 0,8 | 0,8 | 0,8 | 0,8 | 0,8 |
| c | 0,6 | 0,6 | 0,6 | 0,6 | 0,6 |
| TOTAL (sobre 2) | 1,8 | 1,9 | 1,9 | 1,9 | 1,7 |
✅ Todos los modelos de IA responden sin dificultad a esta pregunta, aunque no logran la puntuación completa de 2 puntos ya que (en nuestra opinión) el criterio del apartado a) resulta muy específico en un aspecto excesivamente técnico.
👉 Como se ve en las puntuaciones de cada apartado, los resultados son excelentes y responden sin problema a la pregunta planteada, superando ligeramente la calificación del estudiante.
⚠️ En algunos casos, la respuesta es excesivamente larga y por encima del nivel esperado en Bachillerato.
2. Pregunta de razonamiento
PREGUNTA
En el laboratorio se analiza la secuencia de nucleótidos del genoma de varios agentes patógenos, y la única información disponible es el porcentaje de adenina presente en las mismas, y el tipo de ácido nucleico de dichos patógenos. Las muestras son:
a) viroide aislado de planta de aguacate, 29% adenina, ARN monocatenario;
b) coronavirus aislado de secreción nasal humana, 31% adenina, ARN monocatenario;
c) bacteria Salmonella enteritidis aislada de muestras de heces humanas, 22% adenina, ADN bicatenario;
d) Parvovirus aislado de epitelio intestinal de perro, 27% adenina, ADN monocatenario;
e) Birnavirus aislado de piel de gallina, 32% adenina, ARN bicatenario.
Teniendo en cuenta esta información, deduzca de manera razonada, cuando sea posible, el porcentaje de las restantes bases nitrogenadas en cada una de las muestras biológicas [1]. Puntuación total: 1 punto
| APARTADO | Gemini | ChatGPT-4o | Claude-3 | MS Copilot | Estudiante |
| a | 0 | 0,2 | 0,2 | 0,2 | 0,2 |
| b | 0 | 0,2 | 0,2 | 0,2 | 0,2 |
| c | 0,2 | 0,2 | 0,2 | 0,2 | 0,2 |
| d | 0 | 0,2 | 0,2 | 0,2 | 0,2 |
| e | 0,2 | 0,2 | 0 | 0,2 | 0,2 |
| TOTAL (sobre 1) | 0,4 | 1 | 0,8 | 1 | 1 |
✅ Excepto Gemini, que falla en 3 de los 5 apartados, los otros 3 modelos responden a la perfección y sin dificultad esta pregunta aportando el razonamiento correcto en su respuesta, igualando de nuevo la máxima puntuación del estudiante.
3. Pregunta de interpretación de imagen
✅ Es en esta prueba en la que más fallan los modelos de IA.
👉 Dos de ellos, Gemini y Copilot, yerran totalmente en la interpretación de la imagen y la relacionan con el proceso de mitosis, por lo que todos los apartados resultan incorrectos.
👉ChatGPT-4o y Claude aciertan con el proceso pero no con las siguientes preguntas de interpretación.
👉 En este caso, el estudiante destaca con diferencia por delante de cualquier modelo de IA, logrando la práctica totalidad de los puntos asignados a esta pregunta.
| APARTADO | Gemini | ChatGPT-4o | Claude-3 | MS Copilot | Estudiante |
| a | 0 | 0,2 | 0,2 | 0 | 0,2 |
| b | 0 | 0,1 | 0,1 | 0 | 0,1 |
| c | 0 | 0 | 0,15 | 0 | 0,3 |
| d | 0 | 0,15 | 0 | 0 | 0,3 |
| e | 0 | 0 | 0 | 0 | 0 |
| TOTAL (sobre 1) | 0 | 0,45 | 0,45 | 0 | 0,9 |
CURSO DE FORMACIÓN ONLINE: HERRAMIENTAS DE IA PARA PROFESORES
✅ En este curso se exploran, a lo largo de más de 3 horas de videos, las principales herramientas de Inteligencia Artificial que han surgido y que se pueden aplicar a tareas docentes: chatbots educativos, generación de imágenes, avatares, cómics, canciones, videos y animaciones, redacción de tests y exámenes y muchas otras más.
✅ Este curso está disponible en las plataformas Udemy (19,99€) y G-Talent (20,95€), y ambas tienen frecuentes cupones, promociones y descuentos 😉 )
Calificación total y conclusiones
Haciendo balance de la suma de los resultados de los modelos de IA y del estudiante en cada una de las preguntas, encontramos esta tabla:
| PREGUNTA | Gemini | ChatGPT-4o | Claude-3 | MS Copilot | Estudiante |
| A. Concepto | 1,8 | 1,9 | 1,9 | 1,9 | 1,7 |
| B. Razonamiento | 0,4 | 1 | 0,8 | 1 | 1 |
| C. Imagen | 0 | 0,45 | 0,45 | 0 | 0,9 |
| TOTAL (sobre 4) | 2,2 | 3,35 | 3,15 | 2,8 | 3,6 |
| TOTAL (sobre 10) | 5,5 | 8,375 | 7,875 | 7 | 9 |
✅ Todos los modelos de IA aprobarían (más de 5 puntos sobre 10) la prueba realizada con la selección de preguntas del examen de selectividad de Biología.
✅ El ránking, de mayor a menor puntuación (sobre 10):
- Estudiante: 9
- ChatGPT-4o: 8,375
- Claude-3: 7,875
- MS Copilot: 7
- Gemini: 5,5
✅ Aunque la puntuación del estudiante es mayor que las de los modelos de IA, las calificaciones de todos estos modelos son muy dignas y en algunos casos superan la calificación media de esta prueba a nivel nacional, que fue de 7,44 en 2023.
✅ La mayoría de modelos de IA (excepto Gemini) responde de forma excelente a las dos primeras preguntas (concepto y razonamiento) al mismo nivel que el estudiante.
✅ El estudiante destaca en la última de las preguntas de interpretación de imágenes, donde los modelos de IA no consiguen responder al mismo nivel.
Documentos
👉 Prueba de selectividad de Biología de junio 2024
👉 Criterios de calificación completos
👉 Selección de 3 preguntas y criterios de evaluación de cada una.
👉Textos completos de las respuestas de los modelos de IA y del estudiante
Estamos muy interesados en cualquier comentario o información sobre la comparación del uso de los modelos de IA en aplicaciones educativas. Nos puedes dejar tus ideas en los comentarios del artículo o a través de redes sociales.
⚠️ Los enlaces de esta página y de toda la web pueden contener código de afiliados de Amazon o de otras empresas. Esto significa que recibimos una comisión por cada compra de producto o servicio sin que cambie el precio de venta para el comprador.