小米 PROVE 论文获 ACM MM 2026 杰出论文奖,为视觉目标消除建立感知评测标准

· 2026-11-17 10:02 · 3 阅读

小米技术 2026-11-17 10:02 北京

近日,第 34 届 ACM 国际多媒体会议(ACM MM 2026)在巴西里约热内卢举办,小米大模型应用团队完成的论文 "PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media"(PROVE:面向视觉媒体的感知消除一致性基准) 获评 ACM MM 2026 杰出论文奖(Outstanding Paper Award)。

PROVE 感知评测框架已应用于小米图像魔法消除模型的迭代升级中。目前,图像魔法消除能力已覆盖小米 18 系列、小米 18 Fold、小米 17 系列、REDMI K100 系列等机型,持续为海量用户提供服务。在该能力多年持续迭代的基础上,团队将 PROVE 感知评测框架引入图像魔法消除模型的评估与优化流程,以更贴近人眼感知的局部一致性判断,帮助模型更早发现背景补全不协调、纹理衔接不自然等细粒度问题,从而更高效地定位优化方向。

得益于这一改进,消除效果实现显著提升,背景补全更自然、纹理衔接更顺畅,模型迭代效率得到了显著提升。同时,PROVE 也已用于其他相关小米影像模型的迭代与训练数据清洗,让算法升级更高效。这也说明,PROVE 的价值不仅在于建立更可靠的视觉目标消除评测标准,更在于将前沿研究转化为真实业务中的生产力与用户体验提升,让每一次消除都更贴近用户真实观感。

ACM 国际多媒体会议(ACM MM)由 ACM SIGMM 主办,1993 年首次举办,是中国计算机学会(CCF)推荐的 A 类国际学术会议,也是多媒体领域历史最久、影响力最大的旗舰会议之一,覆盖计算机视觉、自然语言处理、多媒体系统、人机交互等方向。本届会议共收到 8273 篇投稿,接收 1703 篇,其中 Oral 168 篇,所录用论文通常代表相关方向的最新进展,其认可度也被视作衡量学术成果影响力的重要参照。此次获奖体现了该研究成果在视觉内容生成与质量评测方向的创新价值。

研究背景

随着扩散模型在图像与视频编辑中的普及,“把画面里的目标擦掉、让背景自然补全”已经成为内容创作、影视后期、隐私处理的常用能力。但一个基础问题长期没有解决好:消除结果究竟好不好,该用什么来衡量?

目标消除是典型的“一对多”问题——同一个被消除的对象,可以生成多种合理的背景,并不存在唯一的标准答案。现有指标因此集体失灵:PSNR、SSIM、LPIPS 等全参考指标偏好“复制粘贴”式的保守结果;ReMOVE、CFD 等无参考指标会给更模糊的画面打出更高分;TC、TF 等时序指标在全帧上计算,局部的闪烁被大面积背景稀释。数据层面同样两难,真实视频缺少配对的无目标真值,而带真值的数据多为合成场景,难以反映真实世界的复杂性。

研究成果

针对上述问题,团队提出 PROVE 感知评测框架,由两个指标与一套基准组成:

1. RC-S(空间一致性):按连通域把掩码拆成独立目标,各自裁剪并外扩 1/3 作为上下文,在 DINOv2 语义特征上用滑动窗口比较“擦除区域”与“周边背景”的分布差异(MMD),捕捉人眼可见的局部不协调;

2. RC-T(时间一致性):相邻帧取掩码并集统一裁剪,只在“两帧都被修复”的交集区域逐窗口追踪特征分布漂移,避免整帧平均掩盖局部闪烁;

3. PROVE-Bench:PROVE-M 提供 80 组真实拍摄的配对视频(输入 / 掩码 / 无目标真值,81 帧 1080p,并通过运动增强模拟手持、推拉、跟随拍摄);PROVE-H 提供 100 条高难度视频(人群、动态背景、高纹理、复杂反射、快速运动),不设真值,用于压力测试。

研究团队系统对比了 13 项评测指标,既包括 PSNR(像素误差)、SSIM(图像结构相似度)、LPIPS(基于深度特征的视觉感知差异)等传统图像质量指标,也包括 ReMOVE、CFD 等目标消除专用指标。实验覆盖 6 个图像与视频数据集、11 个模型,并开展近 20 项验证实验,同时邀请 20 名参与者进行主观评价。

实验结果表明,团队提出的 RC-S 指标与人类判断的平均 Kendall's τ(排序一致性)和 Spearman's ρ(排序相关性)分别达到 0.59 和 0.66,优于该领域此前常用的 m-LPIPS(0.52/0.58)、ReMOVE(0.26/0.29)和 CFD(0.16/0.18)等指标,在 6 个基准测试中平均排名第一。

进一步实验表明,随着消除区域模糊程度增加,传统的 ReMOVE 和 CFD 上的评价结果反而有所改善,而团队提出的 RC-S 能够持续反映质量下降。针对视频时序稳定性,团队还提出了 RC-T,能够有效识别随机丢帧、换帧造成的画面闪烁与不连续,而传统 TC、TF 等时序一致性指标对此几乎没有反应。

更重要的是,这项研究推动了目标消除的评测从依赖经验,转向可量化、可复现,并已真正进入小米产品链路,辅助小米图像魔法消除模型优化,及其他相关小米影像模型迭代与训练数据清洗。PROVE 的代码与数据均已开源,后续还可延伸至短视频创作、电商素材清理、影视后期和隐私脱敏等场景。它的价值不只是建立一套新指标,更在于让小米影像产品的算法升级更高效、更贴近用户真实观感。让每一次消除都更自然、更贴近真实,持续提升小米用户的影像创作体验。

相关链接

END

跳转微信打开

本文转载自微信公众号「小米技术」,查看原文。版权归原作者所有,如有侵权请联系删除。