零射击医学短语与现成的扩散模型接地
IEEE journal of biomedical and health informatics
|November 8, 2024
概括
这项研究引入了一种新的零射击短语接地方法,用于使用隐性扩散模型进行医学图像本地化. 这种方法有效地利用文本报告在扫描中确定病理,而无需额外的培训.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 在医学扫描中准确地定位病态区域通常需要广泛的界限框注释.
- 随时可用的自由文本报告为本地化任务提供了一种较弱但可访问的监督形式.
研究的目的:
- 在医学图像中以零拍摄的方式执行短语接地 (使用文本指导进行本地化).
- 为了利用一个基础模型 (潜伏扩散模型) 在没有模型微调的情况下进行医疗图像本地化.
主要方法:
- 利用隐性扩散模型,利用其交叉注意力机制来实现隐性视觉文本特征对齐.
- 开发了特征选择和后处理策略,以在没有可学习参数的情况下进行改进.
- 评估了零射击方法与最先进的对比学习方法的对比.
主要成果:
- 拟议的方法在胸部X射线基准上表现出与最先进的方法相比具有竞争力的性能.
- 与现有方法相比,在平均IoU和AUC-ROC指标上取得了优异的平均性能.
- 展示了零射击学习对医疗图像定位的有效性.
结论:
- 使用基础模型的零射击短语接地是医疗图像本地化的一个可行和有效的策略.
- 隐性扩散模型的固有特性促进了对本地化任务的调整.
- 这种方法减少了对大量手册注释的需求,使本地化更容易获得.


