Evaluando el potencial en la preparación en examenes de certificación
El avance vertiginoso de la tecnología digital y la inteligencia artificial (IA) ha generado un impacto significativo en numerosos campos, y la medicina no es la excepción.
En este caso, nos preguntamos: ¿Es posible que un modelo de lenguaje de IA, como ChatGPT de OpenAI, sirva como una herramienta efectiva para preparar a los oftalmólogos para su examen de certificación? Y, aún más, ¿podría servir como instrumento de toma de decisiones en la consulta del oftalmólogo?
Para responder a estas preguntas, se llevó a cabo un estudio transversal con muestreo consecutivo no probabilístico. Se le formularon al ChatGPT 125 preguntas de opción múltiple del reconocido banco gratuito OphthoQuestions (OKAP y WQE), y sus respuestas se analizaron estadísticamente utilizando pruebas t y X² en MedCalc, con un intervalo de confianza del 95%.
Los resultados fueron reveladores
ChatGPT respondió correctamente el 46% de las preguntas (48 de 125) en la primera prueba, que se realizó entre el 9 y el 16 de enero de 2023. Un mes después, el rendimiento mejoró, y el chatbot contestó correctamente 10 preguntas más (58 de 125). Este incremento sugiere que ChatGPT tiene la capacidad de “aprender”.
Además, el estudio examinó otros aspectos del desempeño de ChatGPT:
Se observó que la media de tiempo en responder cada pregunta era de 17.8 segundos. Cuando se volvieron a formular las preguntas sin usar el formato de opción múltiple, el chatbot respondió correctamente el 54% de las preguntas abiertas (42 de 78). No se encontró correlación entre la longitud de la respuesta y si la respuesta era correcta o incorrecta.
En cuanto a las áreas de mejor y peor desempeño, ChatGPT demostró una mayor eficacia en medicina general (79%) y la menor en retina y vítreo (0%). A pesar de si las respuestas eran correctas o no, proporcionó retroalimentación en el 63% de las preguntas (79 de 125).
Aunque los resultados son prometedores, no se puede ignorar las limitaciones del estudio. La velocidad de Internet y el tráfico de uso de la página web pueden haber afectado el tiempo de respuesta. Además, el hecho de que ChatGPT brinde respuestas únicas aunque se le formule la misma pregunta puede dar lugar a variaciones en los resultados si se repite el estudio.
Y, la limitación más relevante en el contexto de la oftalmología, es que ChatGPT no puede procesar imágenes y videos, herramientas esenciales en el campo.
A pesar de la mejora en su rendimiento, todavía no podemos recomendar ChatGPT como una herramienta definitiva para prepararse para el examen de certificación en oftalmología. Sin embargo, su capacidad para aprender y mejorar, junto con su rapidez y disponibilidad, sugieren que puede convertirse en un recurso valioso en el futuro. Con el continuo desarrollo de la IA y la inclusión de más contenido oftalmológico, esta tecnología tiene un gran potencial para apoyar la formación y la práctica en nuestra especialidad.
Referencias:
https://pubmed.ncbi.nlm.nih.gov/37103928/
https://jamanetwork.com/journals/jamaophthalmology/article-abstract/2804364