Precisión y reproducibilidad de las respuestas de diferentes chatbots de inteligencia artificial a preguntas...

Área de la Ciencia:

• Oftalmología Oftalmología.
• La inteligencia artificial es la inteligencia artificial.
• La informática médica es la informática médica.

Sus antecedentes:

• Los chatbots de inteligencia artificial generativa (IA) son cada vez más utilizados por pacientes que buscan información de salud.
• La fiabilidad de los chatbots de IA para proporcionar información precisa para afecciones oftálmicas complejas no está bien establecida.
• Este estudio evalúa el rendimiento de los principales chatbots de IA en la respuesta a consultas vitreorretinales centradas en el paciente.

Objetivo del estudio:

• Para comparar la precisión, la exhaustividad y la reproducibilidad de cinco chatbots de IA en la respuesta a las preguntas de los pacientes sobre las condiciones vitreorretinales.
• Evaluar la idoneidad de los chatbots de IA como herramientas de educación del paciente en oftalmología.

Principales métodos:

• Se utilizaron 135 preguntas vitreorretinales centradas en el paciente de la base de datos de la Academia Americana de Oftalmología.
• Cinco chatbots de IA (ChatGPT-5.o, DeepSeek R1, Meta AI, Grok 3.0, Google Gemini 2.5 Pro) fueron consultados dos veces bajo condiciones estandarizadas.
• Dos oftalmólogos vitreorretinales independientes evaluaron la precisión y la reproducibilidad de la respuesta.

Principales resultados:

• ChatGPT-5.o logró la mayor precisión (94%) y alta reproducibilidad (96,3%).
• DeepSeek R1 mostró la mayor reproducibilidad (98,5%) con una alta precisión (92,6%).
• Grok 3.0 y Google Gemini 2.5 Pro exhibieron una menor precisión y reproducibilidad, mientras que Meta AI se desempeñó moderadamente.
• Las preguntas sobre vitrectomía y degeneración macular relacionada con la edad obtuvieron puntuaciones de precisión más altas en comparación con la retinopatía diabética.

Conclusiones:

• ChatGPT-5.o y DeepSeek R1 demuestran una precisión y reproducibilidad comparables a los estándares clínicos, lo que sugiere un potencial como recursos de educación del paciente.
• La variabilidad en el rendimiento en diferentes modelos de IA y afecciones oftalmológicas subraya la necesidad de una adopción cautelosa.
• La optimización continua es crucial para garantizar que los chatbots de IA brinden información segura y confiable para el cuidado vitreorretinal.