Application of large language models in clinical record correction : a comprehensive study on various retraining methods

Share

Abstract

Objetivos: Evaluamos la eficacia de los grandes modelos de lenguaje (LLM), concretamente los modelos basados en GPT (GPT-3.5 y GPT-4) y los modelos Llama-2 (arquitecturas de 13B y 7B), en la evaluación autónoma de historias clínicas (HC) para mejorar la formación médica y las competencias diagnósticas. Materiales y métodos: Se implementaron y compararon diversas técnicas en Llama-2 7B, incluyendo la ingeniería de prompts, el ajuste fino (fine-tuning, FT) y la adaptación de bajo rango (low-rank adaptation, LoRA). Estos métodos se evaluaron mediante prompts tanto en inglés como en español para determinar su adaptabilidad a diferentes idiomas. El rendimiento se comparó con el de GPT-3.5, GPT-4 y Llama-2 13B. Resultados: Los modelos basados en GPT, en particular GPT-4, mostraron un rendimiento prometedor muy alineado con las evaluaciones de los especialistas. La aplicación del FT sobre Llama-2 7B mejoró la comprensión de textos en español, equiparando su rendimiento al de Llama-2 13B con prompts en inglés. La adaptación de bajo rango mejoró significativamente el rendimiento, superando los resultados de GPT-3.5 cuando se combinó con FT. Esto indica la eficacia de LoRA para adaptar modelos de código abierto a tareas específicas. Discusión: Aunque GPT-4 mostró un rendimiento superior, el FT y LoRA aplicados a Llama-2 7B resultaron cruciales para mejorar la comprensión del lenguaje y la precisión en tareas específicas. Las limitaciones identificadas ponen de manifiesto la necesidad de nuevas investigaciones. Conclusión: Este estudio subraya el potencial de los LLM en la formación médica, aportando un enfoque innovador y eficaz para la corrección de HC. La adaptación de bajo rango se reveló como la técnica más eficaz, permitiendo que los modelos de código abierto rindan al nivel de los modelos propietarios. La investigación futura debería centrarse en superar las limitaciones actuales para seguir mejorando el rendimiento de los modelos. [Traducción automática al español; idioma original: inglés.]