Cisneros-González, JorgeGordo-Herrera, NataliaBarcia-Santos, IvánSánchez-Soriano, Javier2025-12-192025-12-192025-06Cisneros-González, J, Gordo-Herrera, N, Barcia-Santos, I & Sánchez-Soriano, J 2025, 'JorGPT : Instructor-Aided Grading of Programming Assignments with Large Language Models (LLMs)', Future Internet, vol. 17, no. 6, 265. https://doi.org/10.3390/fi170602651999-5903unpaywall: 10.3390/fi17060265https://hdl.handle.net/10641/6839Publisher Copyright: © 2025 by the authors.Este artículo explora la aplicación de grandes modelos de lenguaje (LLM) para automatizar la evaluación de trabajos de programación en una asignatura de grado de «Introducción a la Programación». Este estudio aborda los desafíos de la corrección manual, incluidas las limitaciones de tiempo y las posibles inconsistencias, proponiendo un sistema que integra varios LLM para agilizar el proceso de evaluación. El sistema utiliza una interfaz gráfica para procesar las entregas de los estudiantes, lo que permite a los profesores seleccionar un LLM y personalizar la rúbrica de calificación. Un análisis comparativo, utilizando LLM de OpenAI, Google, DeepSeek y ALIBABA para evaluar las entregas de código de los estudiantes, reveló una fuerte correlación entre las calificaciones generadas por los LLM y las asignadas por los profesores humanos. En concreto, el modelo reducido que utiliza variables estadísticamente significativas demuestra un alto poder explicativo, con una R2 ajustada de 0,9156 y un Error Absoluto Medio de 0,4579, lo que indica que los LLM pueden replicar eficazmente la corrección humana. Los hallazgos sugieren que los LLM pueden automatizar la corrección cuando se combinan con supervisión humana, reduciendo drásticamente la carga de trabajo del profesorado, transformando una tarea estimada en más de 300 h de trabajo manual en menos de 15 min de procesamiento automatizado y mejorando la eficiencia y la coherencia de la evaluación en la educación en informática. [Traducción automática al español; idioma original: inglés.]This paper explores the application of large language models (LLMs) to automate the evaluation of programming assignments in an undergraduate “Introduction to Programming” course. This study addresses the challenges of manual grading, including time constraints and potential inconsistencies, by proposing a system that integrates several LLMs to streamline the assessment process. The system utilizes a graphic interface to process student submissions, allowing instructors to select an LLM and customize the grading rubric. A comparative analysis, using LLMs from OpenAI, Google, DeepSeek and ALIBABA to evaluate student code submissions, revealed a strong correlation between LLM-generated grades and those assigned by human instructors. Specifically, the reduced model using statistically significant variables demonstrates a high explanatory power, with an adjusted R2 of 0.9156 and a Mean Absolute Error of 0.4579, indicating that LLMs can effectively replicate human grading. The findings suggest that LLMs can automate grading when paired with human oversight, drastically reducing the instructor workload, transforming a task estimated to take more than 300 h of manual work into less than 15 min of automated processing and improving the efficiency and consistency of assessment in computer science education.953097enghttp://creativecommons.org/licenses/by-nc-nd/4.0/AI-helped feedbackacademic assessmentautomated assessmentautomated code assessmentcode gradinggenerative artificial intelligencelarge language modelsComputer Networks and CommunicationsYesyesjournal articleopen access10.3390/fi17060265https://www.scopus.com/pages/publications/105009302428https://www.scopus.com/pages/publications/105009302428#tab=citedBy