Eurographics 2026｜See4D：补上看不到的画⾯，让视频换个⻆度继续播放

我爱计算机视觉 · 2026-11-05 23:55 · 8 阅读

原创 52CV 2026-11-05 23:55 江苏

EuroGraphics 2026 · Computer Graphics Forum

论文： See4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting
项目主页：https://see-4d.github.io
arXiv：https://arxiv.org/abs/2510.26796

给视频更换观察角度，首先会遇到一个很具体的问题：原镜头没有拍到的地方，从哪里获得画面？把现有像素投影到新位置，可以保留部分结构，却也会在遮挡边缘留下空洞。再加上人物和物体本身正在运动，补全结果既要看起来合理，也要与前后时刻接得上。

发表于 Computer Graphics Forum、收录于 Eurographics 2026 的 See4D，将这个问题拆成几何引导的视频补全，以及沿空间和时间推进的自回归生成。它不是直接要求模型凭空给出整套新镜头，而是先提供一个不完整、带误差但有结构的观察，再学习如何修复。

几何线索有用，但不能照搬所有投影结果

从深度估计出发，原视频里的像素可以被映射到指定的虚拟相机位置。深度引导重投影 (Depth-Guided Warping) 因而提供了新视角的大致布局，也带来了两类问题：原来被遮挡的区域缺少像素，估计不准的深度则会造成纹理撕裂和拉伸。

划船演示能够直观看到这一差别。输入画面、重投影结果和最终生成并列时，黑色空缺并不是原场景中的物体，而是投影无法提供有效内容的位置。视频补全需要利用已有信息修复这些区域，同时避免把错误的投影纹理直接复制到输出中。

See4D 采用视角条件视频补全 (View-Conditional Video Inpainting)：原视频提供外观与动作信息，重投影图像及其掩码提供目标视角的结构线索，扩散模型负责生成与修复。模型要学会利用几何条件，也要识别这些条件并不总是可靠。

训练时，就让模型面对接近实际的错误

如果训练时只随机挖掉一些矩形区域，模型未必能处理真实重投影产生的不规则空洞。运动物体边缘的缺失、相机移动带来的画外区域，以及深度噪声造成的破碎纹理，具有不同于随机遮挡的结构。

See4D 为此设计了真实感重投影合成。它估计目标帧深度，将场景变换到附近虚拟位置，再经过带扰动的反向投影，构造与测试时更接近的条件图像。变换以分割出的前景物体为参照，有助于产生与动态主体相关的遮挡变化。

训练还使用噪声自适应条件 (Noise-Adaptive Conditioning)，依据掩码反映的有效覆盖情况，调节重投影信息对生成过程的影响。有效线索较多时保留更多结构；线索稀疏或不可靠时，则降低依赖，给模型修复的空间。这里使用的是掩码覆盖情况的近似判断，并不等同于获得了每个像素的真实深度置信度。

时空模块则为相邻帧建立联系。帧序号编码帮助网络区分时间顺序，空间与时间注意力让模型共同处理外观和动作，减少逐帧补全各自为政的问题。

从一段拍摄轨迹，转向一组固定观察位置

See4D 没有把目标定义为另一条任意移动的拍摄轨迹，而是生成若干固定虚拟相机下的同步视频。这种轨迹到相机 (Trajectory-to-Camera) 的安排，将观察位置的控制与场景动作分开，有利于获得可对齐的多视角内容。

标题中的“无位姿”也需要放在这一设置下理解。模型不要求输入视频附带精确的逐帧相机位姿标注，但深度、虚拟相机与相对变换仍参与投影。训练数据同样不是完全无配对的任意视频：论文使用 SynCamMaster 和 ReCamMaster 的同步多视角动态片段，共约 17 万段视频，并从中选择源视角与目标视角进行训练。

人物演示

空间上小步推进，时间上保留重叠片段

较大的观察角度差会放大深度误差，也会一次暴露更多未知区域。See4D 沿虚拟相机之间的样条路径逐步推进，每一步都执行投影、补全与深度更新，再将修复后的结果传给下一步。这样，模型每次面对的是相对有限的视角变化。

时间递推则使用重叠窗口：上一段末尾的部分干净潜变量，与下一段的新噪声潜变量一起进入去噪过程，共享片段为后续生成提供外观和运动参照。窗口长度有限，因此不需要一次装入整段长视频；总生成工作量仍会随着时长和视角步数增加。

消融实验为这些设计提供了对应证据。在 iPhone 测试设置下，去掉时空模块时，PSNR 从完整模型的 14.56 dB 降至 10.66 dB；去掉空间递推和时间递推时，分别降至 13.58 dB 与 13.02 dB。移除噪声自适应条件后，PSNR 为 13.47 dB。它们说明各组件在这套系统中发挥作用，而不是可以脱离实验条件推广到所有视频任务的固定增益。

从定量结果到连续画面，分别检查不同问题

在五个 iPhone 场景上，See4D 的平均 PSNR、SSIM 和 LPIPS 分别为 14.56、0.442 和 0.492，优于表中对照方法的平均结果。跨视角生成还在 200 段 WebVid 视频上按 VBench 协议评测，六项指标中有五项领先；运动平滑度略低于 ReCamMaster，因此不能概括为所有指标均最优。