Uso de generadores de código basados en IA para dar soporte a la creación de código con propósito educativo: evaluación de GitHub Copilot para ejemplos de impresión de patrones en consola

Enfoque

Introducción

El desarrollo de los Large Language Models (LLMs) ha supuesto un avance cualitativo en la posibilidad de generar automáticamente recursos de uso educativo. Algunos de ellos se especializan en la generación de código en diferentes lenguajes de programación. Esto supone una novedad como herramienta para la creación de recursos docentes en materias relacionadas. No obstante, la calidad y la idoneidad para uso educativo de esos ejemplos no ha sido aún reportada en estudios sistemáticos.

Objetivos

El objetivo de esta investigación es el de llevar a cabo un análisis inicial del uso de LLMs especializados en generar código de ejemplo para asignaturas de programación, que pueda utilizarse con propósitos de ejemplificación, práctica, o evaluación.

Metodología

Se seleccionó como herramienta GitHub Copilot, dentro del programa de uso gratuito docente. La asignatura objetivo fue Fundamentos de la Programación de primer curso de Ingeniería Informática, donde se utiliza Python. Para acotar la tarea, se seleccionó solo un patrón de ejercicio simple, adecuado para las primeras semanas del curso, del cual los profesores utilizan variantes habitualmente. Concretamente, se trata de fragmentos de programa o funciones que generan patrones en consola. El caso base es la generación de un rectángulo mediante impresión de caracteres, con una doble iteración. Sobre ella, se proponen cambios que implican el uso de condicionales, o la modificación de la relación entre las variables de control del bucle anidado. Para evaluar la capacidad del LLM, se utilizó el entorno VSCode donde se puede integrar GitHub Copilot, y se experimentó con los siguientes pasos:

• Propuesta de “prompts” y contextos para generar variantes sobre el caso base.
• Uso de las propuestas y recogida sistemática del código generado, para variantes (prompt, contexto).
• Evaluación de los fragmentos generados.
• Evaluación de la capacidad de autocorrección guiada en los casos considerados inadecuados por los docentes.

Resultados y discusión

Los resultados de la generación sistemática resultaron en un número considerable de ejemplos utilizables y adecuados, con pocos errores. No obstante, el sistema sin contexto manifestó una tendencia a repetir ejemplos generados, y el uso como contexto de ejemplos precedentes no tuvo el impacto deseado en evitar esa repetición. También se encontraron dificultades y una necesidad de refinamiento de prompts por parte de los docentes para generar versiones modularizadas del código o evitar elementos idiomáticos de Python como el uso del operador “*” para la repetición de cadenas.

Conclusiones

Los resultados apuntan a que los LLM especializados en código son una herramienta útil en la generación de ejemplos de código, pero requieren una ingeniería de prompts y un filtrado de estos, o un proceso de elicitación y revisión de los docentes. Por ello son adecuados como herramienta de soporte pero no lo parecen actualmente para otras tareas donde no haya supervisión humana y se requiera la capacidad de generar muchas variantes diferentes, como podría ser la generación automática de bancos de preguntas. Esos usos adicionales podrían no obstante lograrse con los mismos LLMs utilizando contextos o prompts por descubrir, necesitando por ello más experimentación empírica con los mismos.