La confianza de los estudiantes en herramientas de codificación AI se estabiliza

Un reciente estudio realizado por un grupo de científicos de la Universidad de California - San Diego analizó la confianza de los estudiantes de informática en herramientas de codificación impulsadas por inteligencia artificial, como GitHub Copilot y ChatGPT. La investigación se presentará en la conferencia Koli Calling, que se llevará a cabo del 11 al 16 de noviembre en Finlandia.

Durante el estudio, que se desarrolló a lo largo de varias semanas, se observó que la confianza en estas herramientas aumentó inicialmente entre la mayoría de los estudiantes. Sin embargo, a largo plazo, los estudiantes comenzaron a reconocer la necesidad de ser programadores competentes sin depender de la asistencia de la inteligencia artificial. Esto se debió a que las herramientas de IA a menudo generan código incorrecto o no ayudan en tareas de comprensión del código.

La motivación detrás de este estudio radica en el cambio significativo en las habilidades requeridas para los estudiantes de informática desde la llegada de herramientas de IA generativa que pueden crear código desde cero. El trabajo está disponible en el servidor de preprints arXiv.

El autor principal del estudio, Gerald Soosairaj, profesor asociado en el Departamento de Ciencias de la Computación e Ingeniería de la Universidad de California San Diego, comentó: "La informática y la programación están cambiando inmensamente". Los investigadores advirtieron que los estudiantes pueden caer en la tentación de depender excesivamente de los chatbots para generar código, lo que podría obstaculizar su aprendizaje de los fundamentos de la programación. Además, señalaron que estas herramientas pueden producir código incorrecto o vulnerable a ataques cibernéticos.

Por otro lado, los estudiantes que eligen no utilizar chatbots pueden perder la oportunidad de programar más rápido y ser más productivos. A medida que los estudiantes se acercan a la graduación, es probable que utilicen herramientas de IA generativa en su trabajo diario, lo que requiere que tengan una comprensión sólida de los fundamentos de la computación y de cómo funcionan los programas, para poder evaluar el código generado por la IA.

El estudio encuestó a 71 estudiantes de informática de tercer y cuarto año, de los cuales la mitad nunca había utilizado GitHub Copilot. Tras una clase de 80 minutos donde se explicó el funcionamiento de la herramienta, aproximadamente la mitad de los estudiantes reportaron un aumento en su confianza, mientras que un 17% indicó que su confianza había disminuido. Posteriormente, los estudiantes participaron en un proyecto de 10 días en el que trabajaron en una gran base de código de código abierto utilizando GitHub Copilot para añadir una nueva funcionalidad.

Al finalizar el proyecto, el 39% de los estudiantes afirmó que su confianza en Copilot había aumentado, mientras que el 37% indicó que su confianza había disminuido y un 24% mencionó que no había cambiado.

Los resultados de este estudio tienen importantes implicaciones para la forma en que los educadores de informática deben abordar la introducción de asistentes de IA en cursos introductorios y avanzados. Los investigadores proponen una serie de recomendaciones para los educadores:

Proporcionar oportunidades para que los estudiantes utilicen asistentes de programación de IA en tareas de diferentes niveles de dificultad, incluyendo tareas dentro de grandes bases de código.

Asegurarse de que los estudiantes puedan comprender, modificar, depurar y probar código en grandes bases de código sin la ayuda de asistentes de IA.

Informar a los estudiantes sobre cómo los asistentes de IA generan su salida a través del procesamiento de lenguaje natural, para que comprendan el comportamiento esperado de estos asistentes.

Demostrar características clave de los asistentes de IA que son útiles para contribuir a una gran base de código, como añadir archivos como contexto y utilizar palabras clave específicas en GitHub Copilot.

Los investigadores concluyeron que los educadores de ciencias de la computación deben ser conscientes de que la forma en que presentan y discuten los asistentes de IA puede influir en cómo los estudiantes perciben estas herramientas. Además, planean repetir su experimento y encuesta con un grupo más amplio de 200 estudiantes durante el próximo trimestre de invierno.