微调一个小视觉语言模型,使用合成数据来解释细菌性皮肤疾病的图像
Shiwan Zhang1, Abdurrahim Yilmaz2, Gulsum Gencoglan3
1Hamlyn Centre, Department of Surgery and Cancer, Imperial College London, London SW7 2AZ, UK.
Diagnostics (Basel, Switzerland)
|February 27, 2026
概括
紧的视觉语言模型 (VLMs) 对皮肤病学有希望. 合成问答数据改善了一个小型VLM.
科学领域:
- 人工智能在医学中的应用
- 皮肤病学 皮肤病学
- 医学图像分析 医学图像分析
背景情况:
- 视觉语言模型 (VLMs) 为医学图像理解提供了潜力.
- 大规模的VLM阻碍了在临床环境中的实际部署.
- 为皮肤病学等专业医疗领域适应紧型VLM至关重要.
研究的目的:
- 为了研究一个紧的VLM对细菌性皮肤疾病图像理解的有效性.
- 评估不同监管策略对VLM业绩的影响.
- 评估合成问答 (QA) 数据对VLM微调的有用性.
主要方法:
- 策划了来自PMC-OA和BIOMEDICA的皮肤病特定数据集 (PMC-皮肤病-VQA-细菌).
- 使用谷歌的双子座模型生成合成QA对.
- 微调了一个紧的VLM (SmolVLM) 使用仅QA,仅标题和联合QA+标题监督.
主要成果:
- 只有质量保证的监管实现了卓越的报告生成质量.
- 结合QA+标题策略的结果是最高的诊断分类准确率 (70.20%).
- 合成质量保证监督显著提高了VLM的性能.
结论:
- 紧型VLM可以通过有针对性的微调有效地适应皮肤病.
- 合成质量保证数据是一种可行的方法,可以提高医疗图像分析中的VLM能力.
- 这种方法支持皮肤病学中加强诊断支持.


