结直肠组织病理学指令调整:在人类评估数据上的多式视觉语言助理
Usman Afzaal1, Ziyu Su1, Usama Sajjad1
1Department of Pathology, The Ohio State University, Columbus, Ohio, USA.
概括
研究人员调整了一个多式大型语言模型 (MLLM) 用于结直肠癌 (CRC) 组织病理学分析. 新的模型CChat显示了用于计算病理学任务生成高质量的数据集的潜力.
科学领域:
- 计算病理学计算病理学
- 医学中的人工智能
- 数字病理学数字病理学
背景情况:
- 对于结直肠癌 (CRC) 基因病理学的多式大型语言模型 (MLLMs) 存在有限的研究.
- 语言和视觉助理 (LLaVA) 模型对自然图像分析具有前景,并可以适应本病理学.
研究的目的:
- 为了研究适应LLaVA模型的实用性,命名为CChat,用于CRC计算病理学.
- 在定制的CRC组织病理学数据集上微调LLaVA并评估其性能.
主要方法:
- 在人体验证的CRC组织病理学数据集上微调LLaVA模型.
- 创建一个基准数据集来评估CChat与其他最先进的聊天机器人相比.
- 使用BERTScore,BLEU和Rouge-L等指标进行评估.
主要成果:
- 在基准数据集上获得高分的CChat:BERTScore (93.23),BLEU (44.91) 和Rouge-L (44.85).
- 微调方法证明了为组织病理学分析生成高质量的指令数据集的潜力.
结论:
- 适应的LLaVA模型,CChat,是CRC计算病理学的可行工具.
- 这种方法表明,通过通过人工智能驱动的对组织病理学幻灯片的分析来推进数字病理学的前景.
