TPAMI 2026 | 北大、清华等团队提出GAPrompt++：多粒度几何感知点云提示，高效适配3D视觉模型

近日，北京大学、清华大学等团队提出 GAPrompt++，一种面向预训练3D视觉模型的多粒度几何感知提示学习方法。该方法冻结预训练骨干，仅通过轻量提示模块和任务头完成下游适配，同时显式建模点云中的局部几何细节与全局结构语义。

实验表明，GAPrompt++在多个点云分类、分割与大规模场景理解数据集上取得具有竞争力的参数高效微调性能，并在多项分类设置中达到或超过全量微调。该研究已发表于国际顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2026年。

论文第一作者为北京大学博士生艾子翔、清华大学博士后崔振宇和中国航天科工集团智能科技研究院高级工程师郭宇飞，三位作者为共同第一作者；通讯作者为北京大学王选计算机研究所周嘉欢助理教授。

• 论文标题：GAPrompt++: Multi-Granular Geometry-Aware Point Cloud Prompt for 3D Vision Model

• 论文链接：https://ieeexplore.ieee.org/document/11676080

• DOI：https://doi.org/10.1109/TPAMI.2026.3729984

• 代码链接：https://github.com/PKU-OV3-LAB/GAPromptPlus

• 数据集链接：

• https://huggingface.co/datasets/zxAi/GSModel60

• https://huggingface.co/datasets/zxAi/uCO3D80

• 发表期刊：IEEE TPAMI 2026

• 作者单位：北京大学王选计算机研究所、清华大学自动化系、中国航天科工集团智能科技研究院、中国科学院软件研究所

背景：通用3D模型如何低成本适配真实世界任务？

随着激光雷达、RGB-D相机、3D Gaussian Splatting和多视图立体重建等技术快速发展，点云数据正在成为自动驾驶、机器人、数字孪生与具身智能的重要感知载体。大规模预训练3D模型也由此展现出更强的通用表征能力。

然而，将预训练模型迁移到具体任务时，传统全量微调需要更新并保存整套骨干参数。随着模型规模和任务数量增长，其训练、存储与部署成本迅速上升，还可能破坏预训练阶段获得的通用知识。

参数高效微调为这一问题提供了新路径，但直接借用自然语言处理或2D视觉中的提示学习方法并不理想。点云具有稀疏、无序、非规则采样等特性，通用提示通常只在单一尺度上调整特征，难以同时理解局部表面细节、关键部件与整体拓扑结构。

进一步的可视化显示，传统提示主要在局部Token范围内建立对应关系；GAPrompt++引入多粒度几何信息后，提示响应能够跨越多个局部区域，并与机翼、机身等完整结构部件形成更连贯的对应。

方法简介：让提示同时看见“局部细节”和“整体结构”

GAPrompt++的核心思路是：提示不应只是额外加入的一组可学习Token，而应由当前点云实例的几何结构主动生成和调节。

为此，研究团队设计了三个相互协同的模块：

• Point Shift Prompter（点偏移提示器）：以层次化方式提取不同尺度的几何特征，并预测细粒度点偏移，使输入表征更好地对齐下游任务。

• Keypoint Prompter（关键点提示器）：从候选区域中自适应选择几何显著点，将最具判别力的局部结构直接转化为实例相关提示。

• Prompt Propagation（提示传播机制）：把不同粒度的几何信息注入预训练骨干的多个层级，使局部线索和全局语义能够在特征提取过程中持续交互。

整个适配过程中，预训练骨干保持冻结，仅更新几何提示模块与下游任务头，从而显著减少训练和存储开销。

多粒度设计的作用也可以直观观察到：细粒度提示更关注边缘、局部连接与细小部件，粗粒度提示逐步覆盖完整部件和全局形状。二者互补，使模型既能捕捉局部差异，也能保持整体结构一致性。

相较于 ICML 2025 版本的主要进展

GAPrompt++在团队ICML 2025工作GAPrompt的基础上，进一步完善几何提示机制，并拓展真实重建数据与场景理解任务的验证。主要进展包括：

• 将原有点提示升级为自适应的关键点提示器，强化局部几何显著性建模；

• 将单尺度几何建模扩展为多粒度点偏移与提示传播，统一局部细节和全局语义；

• 新增真实重建场景、大规模场景分割等更全面的实验；

• 构建GSModel60与uCO3D80两个新数据集，缓解传统点云分类数据集趋于饱和的问题。

实验结果：更少参数，在多项设置中超过全量微调

论文在ScanObjectNN、ModelNet40、GSModel60和uCO3D80四个点云分类数据集上进行了系统评估，并比较了传统监督学习、全量微调和参数高效微调方法。

如下方论文表II所示，在不同骨干的最佳配置及投票策略下，GAPrompt++在ScanObjectNN的OBJ_BG划分、ModelNet40、GSModel60和uCO3D80上分别达到 99.31%、97.1%、92.55% 和 78.06%。其中，ScanObjectNN与ModelNet40采用PointGPT-L骨干，GSModel60采用Point-PQAE，uCO3D80采用Point-FEMAE；这些数值来自不同骨干配置，并非同一个模型在所有数据集上的结果。

论文还在不使用投票的评测设置下，对PointGPT-L、Point-FEMAE和Point-PQAE三个骨干进行了参数高效微调方法比较，结果见下方论文表III。GAPrompt++在三个骨干的多个分类设置中均取得优于全量微调的准确率，并在表中所比较的提示学习方法中表现突出。

以Point-PQAE为例，GAPrompt++使用 0.6M 可训练参数；在ScanObjectNN最难的PB_T50_RS划分上，准确率由全量微调的89.56%提升至 90.63%，在uCO3D80上由73.54%提升至 74.53%，分别提升 1.07 和 0.99个百分点。

此外，论文在ShapeNetPart物体部件分割，以及S3DIS、ScanNet和NuScenes大规模场景语义分割数据集上进行了验证。基于Point-FEMAE的部件分割达到 86.1%实例平均IoU；在Concerto与Utonia场景骨干上，GAPrompt++以约1.0M可训练参数取得了优于表中所比较PEFT方法的场景分割结果，体现出从物体识别扩展到密集预测任务的适配能力。

两个新数据集：面向真实3D重建中的噪声与缺失

传统ModelNet40等数据集主要由干净CAD模型均匀采样得到，近年来已经接近性能饱和，也难以覆盖真实重建中的漂移、孔洞、离群点和背景碎片。

为提高评测难度与现实相关性，研究团队构建了两个面向现代重建流程的新数据集：

• GSModel60：包含13,847个点云实例与60个类别，数据来自3D Gaussian Splatting重建结果；

• uCO3D80：包含20,464个点云实例与80个类别，数据来自无标定图像集合的SfM与MVS重建结果。

这两个数据集保留了重建过程中的不完整表面、几何漂移与噪声干扰，为检验模型鲁棒性和跨域泛化能力提供了更具挑战性的测试环境。

下图展示GSModel60中的高斯重建结果及其采样点云。

下图展示uCO3D80中的MVS融合点云及用于分析的采样点云。

应用价值：为可扩展3D智能提供轻量适配方案

GAPrompt++为预训练3D模型的低成本迁移提供了新的技术路径，可服务于以下场景：

• 机器人与具身智能：快速适配不同场景、物体类别和感知任务；

• 自动驾驶与大规模场景理解：在有限训练预算下完成点云分割与空间感知；

• 多任务部署：共享同一冻结骨干，仅保存不同任务的轻量提示参数；

这项工作说明，参数高效微调不仅可以减少训练参数，更可以通过引入合适的3D几何归纳偏置，释放预训练模型中尚未被充分利用的结构知识。