¿Pueden los modelos de lenguaje grandes ser una herramienta viable para los grupos de trabajo de consenso?...

Área de la Ciencia:

• Informática Médica
• Inteligencia Artificial en Medicina
• Síntesis de Literatura Quirúrgica

Sus antecedentes:

• Una actualización reciente del consenso sobre la ventrorectopexia fue publicada por el Panel Internacional de Expertos en Ventrorectopexia.
• El estudio evaluó la capacidad de los modelos de lenguaje grandes (LLM) para sintetizar la literatura sobre ventrorectopexia antes de la publicación del consenso.

Objetivo del estudio:

• Comparar el rendimiento de diferentes LLM, incluidos ChatGPT-4o, Gemini 1.5 Pro y OpenEvidence, en la generación de respuestas y citas relacionadas con la ventrorectopexia.
• Utilizar el consenso del panel de expertos como punto de referencia para evaluar el rendimiento de los LLM.

Principales métodos:

• Los LLM se evaluaron en cuanto a adecuación del contenido, legibilidad, longitud de la respuesta, fabricación de citas y calidad de las citas.
• Un panel de cirujanos colorrectales evaluó el texto generado por los LLM en cuanto a adecuación e intentó distinguirlo del consenso de expertos.

Principales resultados:

• OpenEvidence logró la mayor adecuación del contenido (3.5/5), superando a Gemini (3.0/5) y ChatGPT (2.8/5).
• ChatGPT exhibió la mayor verbosidad y legibilidad, pero fabricó el 53% de sus citas, en comparación con el 12% de Gemini y el 0% de OpenEvidence.
• Los cirujanos colorrectales pudieron identificar el texto generado por el chatbot con un 55% de precisión.

Conclusiones:

• OpenEvidence se destacó en la adecuación del contenido y la calidad de las citas sobre Gemini y ChatGPT.
• El texto generado por los LLM fue indistinguible del consenso de expertos para los especialistas.
• Los LLM pueden servir como valiosas herramientas de investigación para futuros grupos de consenso con la debida divulgación y supervisión.