Maitin, Ana M.Maitín, Ana MaríaNogales, AlbertoFernández-Rincón, SergioNogales Moyano, AlbertoAranguren, EnriqueCervera-Barba, EmilioDenizon-Arranz, SophiaMateos-Rodríguez, AlonsoCervera Barba, Emilio JuanGarcía-Tejedor, Álvaro J.Denizon Arranz, SophiaMateos-Rodríguez, Alonso A.García Tejedor, Álvaro José2026-01-272026-01-272025-02-01Maitin, A M, Nogales, A, Fernández-Rincón, S, Aranguren, E, Cervera-Barba, E, Denizon-Arranz, S, Mateos-Rodríguez, A & García-Tejedor, Á J 2025, 'Application of large language models in clinical record correction : a comprehensive study on various retraining methods', Journal of the American Medical Informatics Association, vol. 32, no. 2, pp. 341-348. https://doi.org/10.1093/jamia/ocae3021067-5027PubMedCentral: PMC11756697unpaywall: 10.1093/jamia/ocae302https://hdl.handle.net/10641/7515Publisher Copyright: © The Author(s) 2024. Published by Oxford University Press on behalf of the American Medical Informatics Association. All rights reserved.Objetivos: Evaluamos la eficacia de los grandes modelos de lenguaje (LLM), concretamente los modelos basados en GPT (GPT-3.5 y GPT-4) y los modelos Llama-2 (arquitecturas de 13B y 7B), en la evaluación autónoma de historias clínicas (HC) para mejorar la formación médica y las competencias diagnósticas. Materiales y métodos: Se implementaron y compararon diversas técnicas en Llama-2 7B, incluyendo la ingeniería de prompts, el ajuste fino (fine-tuning, FT) y la adaptación de bajo rango (low-rank adaptation, LoRA). Estos métodos se evaluaron mediante prompts tanto en inglés como en español para determinar su adaptabilidad a diferentes idiomas. El rendimiento se comparó con el de GPT-3.5, GPT-4 y Llama-2 13B. Resultados: Los modelos basados en GPT, en particular GPT-4, mostraron un rendimiento prometedor muy alineado con las evaluaciones de los especialistas. La aplicación del FT sobre Llama-2 7B mejoró la comprensión de textos en español, equiparando su rendimiento al de Llama-2 13B con prompts en inglés. La adaptación de bajo rango mejoró significativamente el rendimiento, superando los resultados de GPT-3.5 cuando se combinó con FT. Esto indica la eficacia de LoRA para adaptar modelos de código abierto a tareas específicas. Discusión: Aunque GPT-4 mostró un rendimiento superior, el FT y LoRA aplicados a Llama-2 7B resultaron cruciales para mejorar la comprensión del lenguaje y la precisión en tareas específicas. Las limitaciones identificadas ponen de manifiesto la necesidad de nuevas investigaciones. Conclusión: Este estudio subraya el potencial de los LLM en la formación médica, aportando un enfoque innovador y eficaz para la corrección de HC. La adaptación de bajo rango se reveló como la técnica más eficaz, permitiendo que los modelos de código abierto rindan al nivel de los modelos propietarios. La investigación futura debería centrarse en superar las limitaciones actuales para seguir mejorando el rendimiento de los modelos. [Traducción automática al español; idioma original: inglés.]Objectives: We evaluate the effectiveness of large language models (LLMs), specifically GPT-based (GPT-3.5 and GPT-4) and Llama-2 models (13B and 7B architectures), in autonomously assessing clinical records (CRs) to enhance medical education and diagnostic skills. Materials and Methods: Various techniques, including prompt engineering, fine-tuning (FT), and low-rank adaptation (LoRA), were implemented and compared on Llama-2 7B. These methods were assessed using prompts in both English and Spanish to determine their adaptability to different languages. Performance was benchmarked against GPT-3.5, GPT-4, and Llama-2 13B. Results: GPT-based models, particularly GPT-4, demonstrated promising performance closely aligned with specialist evaluations. Application of FT on Llama-2 7B improved text comprehension in Spanish, equating its performance to that of Llama-2 13B with English prompts. Low-rank adaptation significantly enhanced performance, surpassing GPT-3.5 results when combined with FT. This indicates LoRA’s effectiveness in adapting open-source models for specific tasks. Discussion. While GPT-4 showed superior performance, FT and LoRA on Llama-2 7B proved crucial in improving language comprehension and task-specific accuracy. Identified limitations highlight the need for further research. Conclusion: This study underscores the potential of LLMs in medical education, providing an innovative, effective approach to CR correction. Low-rank adaptation emerged as the most effective technique, enabling open-source models to perform on par with proprietary models. Future research should focus on overcoming current limitations to further improve model performance.8440099enghttp://creativecommons.org/licenses/by-nc-nd/4.0/LLMsartificial intelligenceclinical recordsretrainingHealth InformaticsJournal ArticleResearch Support, Non-U.S. Gov'tYesyesjournal articleopen access10.1093/jamia/ocae302https://www.scopus.com/pages/publications/85216606517https://www.scopus.com/pages/publications/85216606517#tab=citedBy