MixSA:无培训的基于参考的草图提取通过混合自我注意力

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 数字艺术 数字艺术 数字艺术

背景情况:

• 现有的草图提取方法往往需要广泛的培训或缺乏捕捉各种艺术风格的多功能性.
• 这限制了它们的实际应用和产生各种素描输出的能力.

研究的目的:

• 引入Mixure-of-Self-Attention (MixSA),一种没有培训的草图提取方法.
• 为了增强草图的感知,并能够精确控制艺术风格和纹理密度.
• 克服当前方法在多功能性和适用性方面的局限性.

主要方法:

• MixSA使用混合自我注意技术,通过将键和值与参考草图中的键和值替换来修改自我注意层.
• 它将笔触元素集成到初始轮图像中,允许精确控制纹理密度.
• 该方法将笔画风格与图像纹理和轮对齐,特别是在晚期解码器层中,以调整初始轮并防止颜色平均化.

主要成果:

• 与现有方法相比,MixSA在草图质量,灵活性和适用性方面表现出卓越的性能.
• 该技术使笔触元素的无整合和风格之间的插曲能够创建新的艺术表达.
• 使用各种感知指标的评估证实了MixSA在生成高保真素描方面的有效性.

结论:

• MixSA提供了一种多功能,无需培训的草图提取解决方案,克服了当前方法的局限性.
• 该方法为用户提供了对艺术风格和纹理的增强控制,从而产生多样化和准确的素描.
• 这一进步扩大了素描提取在数字艺术和计算机视觉中的实际应用.