用阶级意识的语义扩散模型进行图像合成,用于手术场景分割的术语扩散模型

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 手术场景细分对于精度至关重要,但受到有限和不平衡数据的阻碍.
• 现有的生成模型经常产生非多样化的图像,错过了关键的,小的组织类.

研究的目的:

• 开发一种新的类意识的语义扩散模型 (CASDM),用于合成现实的外科图像.
• 解决手术数据集中的数据稀缺性和不平衡问题.
• 提高合成手术图像的质量和相关性,特别是在关键组织类别.

主要方法:

• 提出了使用细分图作为合成条件的类意识语义扩散模型 (CASDM).
• 引入了新的类意识平均平方误差和类意识自我感知损失函数,以优先考虑不那么明显的类.
• 开创了从文本提示生成多类细分图的先驱,用于条件图像合成.

主要成果:

• CASDM有效地生成真实的手术场景图像和相应的细分图.
• 该模型在各种数据集中显示出强大的有效性和通用性.
• 综合数据显著提高了手术细分模型的培训和验证.

结论:

• CASDM为手术场景细分中的数据增强提供了强大的解决方案.
• 这种方法提高了图像质量,并优先考虑了关键的解剖结构.
• 这项工作通过实现更强大,更精确的外科细分来推动该领域的发展.