Capacidad resolutiva de ChatGPT en un examen de competencias médicas basado en la clínica ampliada

Abstract

La aplicación de herramientas de inteligencia artificial (IA) ha cambiado los límites de lo posible en cuanto a la educación y evaluación médica. La carrera de medicina de la Universidad Nacional del Sur ha desarrollado un software específico para evaluar la adquisición de competencias profesionales bajo el encuadre de la clínica ampliada, con respuestas en formato ensayo, que pueden ser simuladas por la IA. Método: Se analiza la capacidad del sistema ChatGPT 3.5 de interpretar y resolver problemas clínicos bajo este encuadre, comparando de forma ciega su desempeño con medidas de distribución de frecuencias de la población control. Resultados: ChatGPT 3.5 presentó un desempeño global del 44.84% (Z-score: –1.14), con desempeño menor a la media del grupo control en 6 de 10 problemas clínicos. En las dimensiones de competencia «Subjetivo» y «Problematización» el desempeño fue aceptable (Z-score –0.02 y 0.05, respectivamente) y pobre en las dimensiones «Objetivo» y «Plan de acción» (Z-score: –2.40 y –1.46, respectivamente). Las respuestas de ChatGPT incluyeron el 60% de los ítems que evalúan la pertinencia de decisiones al contexto sociofamiliar (Z-score: –0.70). Conclusiones: ChatGPT presentó capacidad moderada para resolver evaluaciones en el marco de la clínica ampliada, pero sorprende su capacidad de generar respuestas pertinentes al contexto sociofamiliar. Esto sugiere una utilidad potencial para el desarrollo de competencias blandas en la formación médica. El uso masivo de estas herramientas obliga a revisar las competencias médicas que desarrollar y los mecanismos de evaluación pertinentes que garanticen su seguridad, validez e impacto educativo.

The application of Artificial Intelligence (AI) tools has changed the limits of what is possible in terms of medical education and evaluation. The Medical School at the National University of the South has developed specific software to evaluate the acquisition of professional skills under the framework of the expanded clinic, with answers in essay format, which can be simulated by AI. Method: This study analyzes the ability of the ChatGPT 3.5 system to interpret and solve clinical problems under this framework, blindly comparing its performance with frequency distribution measures of the control population. Results: ChatGPT 3.5 presented an overall performance of 44.84% (Z-score: –1.14), with performance lower than the average of the control group in 6 of 10 clinical problems. In the competence dimensions “Subjective” and “Problematization” the performance was acceptable (Z-score: –0.02 and 0.05, respectively) and poor in the dimensions “Objective” and “Action plan” (Z-score: –2.40 and –1.46, respectively). ChatGPT responses included 60% of the items that evaluate the relevance of decisions to the socio-familial context (Z-score: –0.70). Conclusions: ChatGPT presented moderate capacity to resolve evaluations in the framework of the expanded clinic, but its capacity to generate responses relevant to the socio-familial context is surprising. This suggests potential utility for the development of soft skills in medical training. The massive use of these tools forces us to review the medical skills to be developed, and the relevant evaluation mechanisms that guarantee their safety, validity and educational impact.