LLM2image:使用病理图像和语义信息来准确诊断腹病毒的新框架
Liangliang Liu1, Zizhao Niu1, Fengjie Zhao1
1Henan Agricultural University, Zhengzhou, 460045, Henan, PR China.
概括
这项研究介绍了LLM2image,这是一种用于在动物组织病理学中诊断腹病毒的新型AI框架. 它将视觉数据与文本描述相结合,实现兽医水平的准确性,以改善疾病控制.
科学领域:
- 兽医病理学 兽医病理学
- 人工智能的人工智能
- 计算生物学 计算生物学
背景情况:
- 在兽医中,对腹病毒的准确诊断依赖于组织病理学图像.
- 当前的深度学习方法往往忽视临床语义,并与有限的数据作斗争.
- 整合视觉和文本信息对于提高诊断准确性至关重要.
研究的目的:
- 开发一个多式模式框架,LLM2image,以改善病理图像分类.
- 利用大型语言模型 (LLM) 来生成语义丰富的文本描述.
- 为了提高AI驱动疾病诊断的准确性和可解释性.
主要方法:
- 一个像素级MLP编码器用于图像表示.
- GPT-4.0用于生成类特定的病理描述.
- 一个采用多头注意力进行特征对齐的交叉模式融合变压器.
主要成果:
- 在猪肠道图像 (健康,ETEC,PDCoV,PoRV) 上获得了89.51%的准确性.
- 在PAIP2020结直肠癌数据集上,证明了87.42%的准确性.
- 通过LLM生成的文本显著提高了分类准确性和可解释性.
结论:
- 通过整合视觉和文本数据,LLM2image提供了一种强大的方法来对病态图像进行分类.
- 该框架实现了与经验丰富的兽医相美的诊断性能.
- 作为轻量级的Android应用程序的部署可以为现实应用程序提供快速的离线诊断.
更多相关视频
08:01Author Spotlight: Investigating Viral Disruption of Intestinal Epithelial Signaling – Research Insights and Future Directions
Published on: January 19, 2024
2.0K
05:33Introduction of an Integrated Pathology Image Management, Artificial Intelligence, and Reporting System
Published on: July 11, 2025
1.3K
