评估大型语言模型驱动聊天机器人的诊断性能,用于在皮肤病理学中提供免疫组织化学建议
Myles R McCrary1,2, Justine Galambus2,3, Wei-Shen Chen1,2
1Department of Anatomic and Clinical Pathology, Morsani College of Medicine, University of South Florida, Tampa, Florida, USA.
Journal of cutaneous pathology
|May 14, 2024
概括
大型语言模型 (LLM) 驱动的聊天机器人显示出在皮肤病理学中生成免疫组织化学面板的前景. 然而,准确性和引用可靠性问题需要谨慎和进一步开发用于临床使用.
科学领域:
- 人工智能在医学中的应用
- 计算病理学计算病理学
- 数字健康数字健康
背景情况:
- 大型语言模型 (LLM) 在各种领域提供了潜在的应用.
- 在皮肤病理学中,LLM驱动的聊天机器人的实用性仍未得到评估.
- 免疫组织化学对于诊断许多皮肤疾病至关重要.
研究的目的:
- 评估聊天机器人的诊断实用性,以获得皮肤病理学中的免疫组织化学信息.
- 评估聊天机器人生成的免疫组织化学面板和参考的准确性和可靠性.
主要方法:
- 一个常见的聊天机器人被查询了51种皮肤疾病的免疫类型.
- 聊天机器人响应与已建立的文献标准进行了比较.
- 我们量化了准确性,参考文献的临床实用性,并量化了拼率.
主要成果:
- 聊天机器人推显示与瘤类型的相关性,表明面板生成的潜力.
- 有很大比例的建议是事实上不正确的 (13.9%).
- 提供的引用往往在临床上没有用处 (24.5%),并且经常被伪造 (27.2%).
结论:
- 用LLM驱动的聊天机器人可以帮助生成用于皮肤病诊断的免疫组织化学面板.
- 性能限制,偏见和伪造信息的倾向需要仔细考虑.
- 针对诊断医学微调的未来LLM模型可能是有价值的工具.
更多相关视频
07:32Author Spotlight: Investigating Immune Cell Dynamics in the Tumor Microenvironment — Challenges and Innovations in Cancer Prognosis
Published on: April 12, 2024
1.3K
09:52DNA-barcode-based Multiplex Immunofluorescence Imaging to Analyze FFPE Specimens from Genetically Reprogrammed Murine Melanoma
Published on: June 6, 2025
150
