Enfoque
Introducción
La inteligencia artificial (IA) puede mejorar la calidad y eficacia de la evaluación académica. La efectividad de ChatGPT de OpenAI en programas de máster depende del enfoque pedagógico, naturaleza de la asignatura y su integración tecnológica. Nuestro estudio investigó la aplicación y eficacia de ChatGPT Pro en entornos académicos.
Este proyecto pionero se llevó a cabo en el contexto de la edición 22-23 del programa Global Executive MBA (GEMBA) de cuyas defensas de Trabajos de Fina de Master (TFM) se celebraron en noviembre de 2023 en EAE Busines School Madrid.
Objetivo
Analizar la IA a través del modelo de lenguaje mencionado y su uso en la evaluación y calificación de los TFM presentados por los estudiantes de un programa de master en formato híbrido.
Así como también, en determinar la eficacia del ChatGPT como herramienta para evaluar los TFM con criterios académicos establecidos.
Metodología
El estudio se enmarca en un tipo de investigación de campo, de nivel exploratorio. La metodología implicó procesar . los TFM con ChatGPT utilizando una rúbrica predeterminada y una secuencia de comandos uniforme. Esta rúbrica se basó en los criterios académicos de la guía docente de la asignatura TFM, garantizando la conformidad con los estándares de calificación convencionales. También se realizaron encuestas a estudiantes para evaluar la percepción, utilidad e impacto de la retroalimentación generada por IA durante las sesiones de defensa. Los TFM investigados fueron los que autorizaron a través del formulario correspondiente.
Resultados e impacto:
Esta investigación contribuye significativamente en dos áreas principales. En primer lugar, permite presentar una forma de apoyo a la evaluación de los TFM detallando el proceso, metodologías, hallazgos e implicaciones, pudiéndose utilizar esta herramienta como ayuda en la docencia. En segundo lugar, ofrece el potencial de aportar nuevas evidencias sobre el papel de la IA en la educación superior y sus oportunidades.
Por último, al explorar las intersecciones de la inteligencia artificial y la evaluación académica en entornos educativos, esta investigación ofrece valiosas perspectivas sobre el papel de la IA en la mejora de las prácticas educativas tradicionales.
Conclusiones
El estudio demuestra la eficacia de ChatGPT como herramienta para evaluar los TFM, alineándose con criterios académicos establecidos. Lo cual indica que la IA puede apoyar eficientemente los procesos de evaluación en la educación. ChatGPT aporta una nueva dimensión en la evaluación académica, ofreciendo análisis y retroalimentación detallada que complementa las evaluaciones tradicionales. Los resultados sugieren un amplio potencial de la IA en la educación, presentando oportunidades para reformar métodos de enseñanza y evaluación. Este avance en la aplicación de IA en la educación superior estimula a educadores e instituciones a adoptar tecnologías emergentes, mejorando así la calidad y eficiencia educativa.
La Implementación de la IA en la evaluación automatiza procesos de evaluación para garantizar una evaluación más objetiva y equitativa, minimizando los sesgos. Así como, mejoras en la retroalimentación proporcionada por la IA a los estudiantes al recibir comentarios detallados e inmediatos sobre su desempeño, facilitando un aprendizaje continuo y adaptativo.
Luciano Martínez Balbuena
Comentó el 02/02/2024 a las 18:03:18
Hola Francisco y Santa,
Muy interesante ponencia. Una consulta, ¿ustedes están pensando automatizar las diferentes partes del árbol de desiciones que muestran en su charla? En caso contrario, ¿es comparable el tiempo que le tomaría hacer esta metodología al docente con el tiempo que se llevaría dando una retroalimentación para cada aspecto de la rúbrica?
Saludos y muchas gracias por su respuesta.
Francisco Astudillo Pacheco
Comentó el 02/02/2024 a las 19:56:36
Buenas tardes,
Es una pregunta interesante.
Creo que la automatización de partes del proceso de toma de decisiones puede ser beneficiosa en términos de eficiencia. Sin embargo la intervención humana aún puede ser necesaria en algunos pasos. Por ejemplo, para analizar respuestas inesperadas del sistema.
En cuanto al tiempo, la automatización podría reducir la carga inicial de análisis, permitiendo al docente enfocarse en la retroalimentación basada en la rúbrica de manera más efectiva.
Saludos
Maria Mercedes Saravia Bartra
Comentó el 02/02/2024 a las 17:49:24
felicitaciones por su ponencia.
Un punto serio en cualquier tipo de evaluaciòn es detectar la "copia", que recomendaciones darian?
atte
Francisco Astudillo Pacheco
Comentó el 02/02/2024 a las 20:00:44
Buenas tardes,
Muchas gracias por su pregunta.
Por el momento confiamos en las herramienta de antiplagio disponibles en el mercado.
Todavía no hemos encontrado nuevas herramientas que sean capaces de garantizar la identificación de textos generados automáticamente al mismo nivel que las tradicionales lo hacen con la identificación de similaridad en un textos.
Saludos
Ivan Gadea Saez
Comentó el 01/02/2024 a las 11:20:52
Buenos días,
Un trabajo muy interesante y bastante complementario con el estudio que hemos presentado nosotros sobre la calificación de preguntas cortas. A este respecto, ¿no se planteó la posibilidad de crear un prompt para que ChatGPT calificara el trabajo en sí?
Francisco Astudillo Pacheco
Comentó el 01/02/2024 a las 11:49:52
Buenos días,
Apreciamos sus comentarios.
Experiencias anteriores nos habían permitido identificar limitaciones de ChatGPT en la evaluación al usar comandos genéricos sin entrenamiento específico, por lo que optamos por desarrollar un modelo más especializado: el "FMT Evaluator", para mejorar la precisión en la evaluación de los TFM.
Muchas gracias
Juan Pedro Rivero González
Comentó el 01/02/2024 a las 10:38:49
Muchas gracias por su investigación y por compartirla con todos. Muy interesante tanto los resultados en objetividad y equidad evaluativa. Me ha parecido muy interesante la aportación del alumnado prefiriendo la retroalimentación oral. Mi pregunta sería en esa dirección: ¿Compensa la objetividad material en la evaluación de un trabajo la posible pérdida de la interacción docente alumnado? ¿Considera Vd. que ambos aspectos deben estar siempre presentes? ¿Cómo lograr que los TFM logren una transferencia social si se elaboran pensando en una evaluación objetiva materialmente? Reitero mi más cordial felicitación por su trabajo de investigación. Muchísimas gracias.
Santa Palella Stracuzzi
Comentó el 01/02/2024 a las 13:22:48
Muchas gracias por la pregunta Juan Pedro,
En efecto los resultados de nuestra investigación son muy interesantes y hasta un tanto inesperados. Con relación a tu pregunta, pienso que la interacción docente-alumnado es esencial para el aprendizaje y el desarrollo integral de los estudiantes, ya que proporciona retroalimentación, orientación y oportunidades para la discusión. Sin embargo, no deja de ser importante la objetividad material en la evaluación, es valiosa porque ayuda a garantizar una evaluación un poco más justa y equitativa, evitando los visibles sesgos subjetivos.
Ambos aspectos, la interacción docente-alumnado y la objetividad material en la evaluación, son relevante, más que todo en un entorno educativo ideal. Encontrar un equilibrio adecuado entre ambos para maximizar los beneficios del aprendizaje es la clave fundamental.
En cuanto a la transferencia social de los Trabajos de Fin de Máster (TFM), es posible lograrla sin comprometer la objetividad material en la evaluación. Eso, no olvidando que es fundamental que los criterios de evaluación estén alineados con los objetivos de transferencia social, y que se fomente la aplicación práctica de los conocimientos adquiridos en situaciones reales.
Muchas gracias.
Ana Pereles López
Comentó el 01/02/2024 a las 10:12:28
Buenos días. Un planteamiento muy interesante. Conozco un par de aplicaciones para la elaboración de rúbricas, pero su propuesta es a tener en consideración. Me surge una duda, ¿en el prompt se incluirían los criterios de evaluación establecidos en la guía de la asignatura? Una vez que tenían la evaluación, ¿qué opinión plantearon los estudiantes?, ¿disponían de revisiones de calificación con su director de TFM?
¡¡Gracias!!
Francisco Astudillo Pacheco
Comentó el 01/02/2024 a las 11:59:01
Buenos días,
Agradecemos sus observaciones.
En nuestro proceso, inicialmente suministramos al sistema la guía docente, realizando consultas específicas para asegurar que la rúbrica de la guía hubiera sido correctamente identificada y que el sistema reconociera su contenido.
Debido a las limitaciones de la memoria contextual del sistema, y con el fin de focalizar el análisis, cada comando incluía referencias específicas a la competencia y el nivel de consecución que debían ser evaluados.
Este experimento se realizó posterior a la y calificación de los trabajos. Los estudiantes participaron únicamente mediante una encuesta, sin interacciones presenciales sobre el feedback escrito.
Saludos cordiales.
Deja tu comentario
Lo siento, debes estar conectado para publicar un comentario.
Organizan
Colaboran
Configuración de Cookies
Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies