aixiv 专栏重磅发布：无需微调，高效目标移除的扩散模型新方法——attentive eraser
AIxiv 专栏持续关注并报道全球顶尖AI研究成果。过去数年，我们已发布超过2000篇学术技术文章，涵盖各大高校和企业实验室的最新研究。欢迎投稿或联系我们报道您的优秀工作！投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
研究团队: 浙江工商大学统计与数学学院硕士生孙文灏、阿里巴巴算法工程师崔奔雷（共同第一作者），浙江工商大学统计与数学学院董雪梅教授（通讯作者）。
扩散模型在图像生成领域取得了显著进展，尤其在处理高维复杂数据方面优势明显。然而，将其应用于图像目标移除任务时，仍面临诸多挑战，例如移除目标后残留伪影等问题。为解决这些问题，本文提出了一种无需微调的基于扩散模型的目标移除方法——Attentive Eraser，显著提升了预训练扩散模型的目标移除能力。AAAI 2025 录用并选为 Oral Presentation。
核心创新：
Attentive Eraser 的核心在于其双重创新：
注意力激活和抑制 (AAS)： 通过巧妙地修改预训练扩散模型的自注意力机制，增强模型对背景的关注，同时抑制对前景目标的关注。 此外，引入相似性抑制 (SS) 机制，有效避免因自注意力机制导致的对背景中相似目标的误判。
自注意力重定向引导 (SARG)： 利用 AAS 修改后的自注意力机制，引导逆向扩散采样过程，从而更精准地移除目标并生成与背景自然融合的内容。
研究背景与方法：
当前，扩散模型如 Stable Diffusion (SD) 在图像生成方面表现出色。然而，直接应用于目标移除任务时，常出现伪影。虽然已有基于微调或提示工程的方法，但这些方法成本高且效果不稳定。Attentive Eraser 则提供了一种无需微调的解决方案，有效解决了这些问题。
实验结果:
实验结果表明，Attentive Eraser 在多种预训练扩散模型上均表现出色，甚至优于一些基于微调的方法。其在目标移除的质量和稳定性方面均取得了显著提升。用户偏好研究和 GPT-4o 评估进一步验证了其优越性。
鲁棒性和可扩展性：
Attentive Eraser 对不同精细度的掩码具有鲁棒性，并可扩展到其他预训练扩散模型（例如，生成动漫图像的模型）。
论文及代码:
论文标题：Attentive Eraser: Unleashing Diffusion Model’s Object Removal Potential via Self-Attention Redirection Guidance论文链接：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29cGithub 地址：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29cDiffusers Pipeline：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29cModel Scope Demo：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29cHugging Face Demo：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29c
欢迎访问论文链接了解更多细节。
以上就是扩散模型新突破！无需微调，就能高效稳定移除目标物体的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/3049067.html
