TPAMI|南方科大等提出DepthGS:首度推导深度误差理论上界,高斯表面重建与新视角合成双突破
CV君 2026-11-18 23:44 江苏

误差上界破局高斯表面重建


3D高斯溅射(3D Gaussian Splatting, 3DGS)凭借可微栅格化与实时高保真渲染,已经成为新视角合成领域的主流范式。然而,当研究者尝试将各向异性高斯椭球显式拓展至高精度几何表面重建时,高斯基元的无序离散分布往往会在表面拟合中引发严重的几何伪影与结构断裂。尽管近期已有工作尝试引入法向与深度线索,但深度信息差异与真实三维表面重建误差之间的数学关联始终未得到严格的理论刻画,多视角之间不同深度表达的几何一致性也长期缺乏系统约束。
针对该痛点,南方科技大学联合煤炭科学技术研究院有限公司矿山人工智能研究所、西安交通大学及香港城市大学等机构,提出了一套全新的深度引导自适应正则化高斯溅射框架——DepthGS。该算法已被计算机视觉顶刊 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 录用。
背景与动机:渲染距离与无偏深度的理论断层
在基于平面高斯表面重建的经典架构(如 PGSR)中,渲染器通常会导出两套关键深度表达:
渲染距离(Rendered Distance, ):由相机光线穿过的高斯基元平面到相机的距离沿透射率加权累加得到;
无偏深度(Unbiased Depth, ):根据渲染法向 与单位光线方向 的夹角,校正得到的真实几何深度:

通过反投影,这两套深度值沿同一条视线可分别反推出三维空间点 与 。从几何直觉上看,当局部高斯基元排列杂乱或偏离实际表面时, 与 之间会出现明显的数值撕裂(如图 2 所示)。以往的研究通常默认两者的相对大小可以反映几何质量,但存在两个未解的核心问题:
理论上界缺失: 与三维空间真实表面点 之间的欧氏重建误差,究竟存在怎样的定量数学约束?
跨视角一致性缺乏刻画:当表面同一空间点在相邻多个摄像机视角下成像时,由于视角变化和局部拟合优劣不同,两套深度在相邻视角变换下的投影残差如何定量收敛?
DepthGS 的切入点正是从数学上推导这两类误差的理论上界,并据此设计非对称的几何正则化策略。
方法详解:理论上界驱动的自适应几何正则
DepthGS 的整体优化流程如图 1 所示。算法以稀疏点云初始化高斯表征,渲染模块输出法向图与距离图并推导无偏深度图。框架解耦为单视角几何约束优化与多视角一致性优化两个主要分支。

1. 单视角理论上界与可靠性加权法向约束
设像平面像素 处的地面真值表面点为 ,无偏深度与渲染距离反投影点对应的重建误差分别为 与 。根据三角不等式:
其中深度差标量 。在有效图像域 上结合非负权重 进行积分,可建立单视角聚合重建误差 的严格数学上界(引理 1):
展开该上界可知,在固定渲染距离误差的前提下,缩小 能直接收紧重建误差边界。
值得注意的是,在实际工程实现中不能简单地将直接最小化 作为优化目标。由深度差定义可知,。若强行惩罚该差值,优化器将倾向于盲目让 (即使得表面法向强行平行于光线),这会在倾斜表面造成严重的几何畸变。

DepthGS 采取了更稳健的思路:将深度差视作局部几何可靠度度量(Geometric Reliability Measure),将其反向映射为自适应权重 (如图 3 所示):
可靠区域强化约束:在深度差异极小的区域,局部高斯拟合规整,赋予较高权重,让渲染法向 强力对齐由深度图微分恢复的基准法向 ;
杂乱区域抑制错误传播:在深度差异较大的边界或不平整区域,赋予较低权重,弱化约束,避免将错误的几何法向反传至高斯基元。
调制后的单视角法向损失为:
2. 多视角几何理论推导与跨视角深度一致性
在多视角场景中,空间同一表面点在当前视角 与邻近视角 之间存在刚体变换 。然而实际拟合中,由于视角遮挡或各向异性高斯形态差异,相邻视角在对应点处的深度差并不一致(如图 5 所示)。

论文推导了多视角聚合重建误差 的理论上界(引理 2):
其中三维向量残差项 满足精确分解关系:
此处 为标量跨视角深度差残差, 为两视角光线投影夹角。
为将上述几何约束转化为连续可微的优化项,论文设计了重投影代理损失。将当前视角的两套深度通过外参变换投影至相邻视角的像平面,利用双线性插值采样得到邻近视角的对应深度 与 。论文在理论上证明了离散采样残差 受到双视角投影误差凸组合的严格控制:
据此构建的跨视角深度一致性正则化损失为:
实验中设置平衡权重 。通过在多视角反向传播中联合惩罚这两个重投影深度误差,即可作为代理项有效压缩多视角深度残差。
实验结果与多维评测
所有实验均在单张 NVIDIA GeForce RTX 4090 (24GB) GPU 上完成,场景统一迭代优化 30,000 步。
1. DTU 数据集表面几何重建精度

在经典的 DTU 表面重建基准上,将渲染深度图融合进 TSDF 体素并提取三角网格。定量结果如论文表 I 所示(Chamfer Distance, mm,越低越好):

DepthGS 取得了平均 0.51 mm 的 Chamfer 距离,相比核心基线 PGSR(0.53 mm)取得稳定提升,在所有显式高斯方法中位列前列,与目前最优的 GSPrior(原作者汇报 0.50 mm,论文复现值为 0.52 mm)处于同一高精度梯队;
训练时间开销:DepthGS 单场景平均优化时间仅为 17.6 分钟,仅比基准 PGSR(17.0 分钟)增加 36 秒,但计算速度显著快于 GSPrior 的 42 ~ 49.9 分钟(提速约 2.4 ~ 2.8 倍),在效率与重建精度的权衡上表现优异。
从图 6 的放大细节可见,在物体凹陷面、边缘轮廓等区域,DepthGS 重建的几何网格平整度与连续性明显优于 2DGS 与 GOF。
2. Tanks and Temples 大场景测试
在更具挑战性的大尺度无界场景 Tanks and Temples 上,DepthGS 同样保持了稳健的重建效果(论文表 II):

其平均 F1-score 达到 0.503,相比基线 PGSR(0.495)提升了近 0.8 个百分点,与隐式代表方法 Neuralangelo(0.505)及最新显式方案 GSPrior(0.507)性能相当。
3. Mip-NeRF360 新视角图像渲染评测
在侧重复杂光照与新视角合成质量的 Mip-NeRF360 基准中,DepthGS 展示了出色的视觉保真度(论文表 III):

感知质量最优:在整体平均 LPIPS 指标上,DepthGS 达到了 0.175(室外 0.199,室内 0.151),在表内所有对比方法中取得全局最优;
峰值信噪比:平均 PSNR 达到 27.72 dB(室内场景高达 30.68 dB),仅次于以纯图像渲染为导向的原始 3DGS,验证了几何正则化并未以牺牲图像细节为代价。
4. 优化动态与复杂场景的局限性探讨
通过监测 7k 至 30k 迭代过程中的 PSNR 轨迹(图 9),论文观察到 DepthGS 在 counter(+0.28 dB)与 bonsai(+0.23 dB)等室内场景中收敛更快、峰值更高。

但在几何极其碎片化且光照复杂的室外场景 bicycle 中,测试集 PSNR 微降了 0.05 dB。实验分析客观指出:在具有极宽视角差、剧烈光照变化与细碎拓扑的室外极端环境中,法向与深度估计的先验置信度容易受到干扰,这表明当前自适应约束虽具有显著收益,但仍表现出一定的场景依赖性。
5. 显存占用与消融验证
DTU 消融实验(论文表 V)显示,单独引入单视角可靠度加权 可将 Chamfer 距离降至 0.51 mm;而引入多视角深度损失 后,多视角一致性误差 在迭代全程呈现系统性下降(图 12)。

在硬件显存方面,完整版 DepthGS 的平均显存与峰值显存分别为 6.77 GB 与 7.50 GB,仅比基线略增 0.38 GB 峰值显存,常规 24GB 消费级显卡即可轻松部署运行。
写在最后
从 3D 高斯溅射被引入三维视觉至今,如何消除高斯基元的无序性、重建出高精度物理表面一直是领域内的核心命题。DepthGS 的核心启发在于:避免经验式设计几何惩罚项,转而通过数学推导严格刻画深度差与三维重建误差的上界。将单视角深度差转化为几何可信度权重,同时构建多视角可微深度投影代理,在精度、显存与耗时之间达成了兼顾。
对于关注神经辐射场、高斯溅射及三维重建的从业者而言,这种从理论误差边界反推损失函数设计的范式,对后续处理复杂大尺度室外场景、动态场景中的几何正则化问题同样具有借鉴意义。
论文标题: DepthGS: Depth-Guided Gaussian Splatting with Adaptive Regularization for High-Quality Surface Reconstruction
代码仓库: 暂未公开(基于单张 RTX 4090 显卡实现)
所属机构: 南方科技大学、中煤科工矿山人工智能研究院、西安交通大学、香港城市大学
录用期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)

本文转载自微信公众号「我爱计算机视觉」,查看原文。版权归原作者所有,如有侵权请联系删除。