小米技术 2026-11-04 17:49 北京

电影里最见功力的镜头之一是环绕运镜：摄影机绕着主角转上一圈，主角纹丝不动，整个世界在画面里旋转。这类镜头的门槛一直不低，硬件上需要摇臂、轨道和稳定器，操作上考验摄影师的经验；而当镜头转到侧后方时，主角的侧脸、后背会进入画面，这些区域在开场镜头中从未出现过，只能依靠现场的服装、道具和灯光维持形象一致。

如今，这样的镜头在手机上就可以完成。10 月 27 日，REDMI K100 正式发布，这款手机在影像上新增了 3D 运镜的 AI 玩法。打开 REDMI K100，从相册选一张静态照片，AI 就能生成一段大角度 3D 运镜视频：镜头可以环绕、推拉、倾斜，而画面中人物的五官、发型、衣着始终保持一致。

输入图片

生成视频

支撑这项功能的，是小米在近期公开论文里带来的视觉生成框架 WorldCast：它通过解读画面的深度结构，把平面照片还原成三维场景，并在其中虚拟出一条真实相机轨迹，让镜头像被真实拍摄一样运动，能够在镜头运动过程中持续保持主角外观的一致性。

01

技术核心：镜头在动，世界不动

让 AI 沿指定运镜轨迹生成视频，业内已有不少方案；但角度拉大、轨迹变复杂之后，问题会集中暴露。WorldCast 将其归结为两个相互耦合的难题。

第一个是轨迹跟不住。旋转、平移、半径变化组合在一起，再叠加任意起始方位，对相机控制是非常强的考验，几何条件稍有不准，就会出现转不到位、平移错位、逐渐偏离预定轨迹。

第二个是身份漂移。视角一大，初始帧里没拍到的区域—侧脸、后背、脑后的发丝会被逐步揭开，这些区域的几何与外观没有任何观测约束，生成模型很容易自由发挥：越转五官越变形，衣服花纹消失，转着转着就成了另一个人。

WorldCast 的整体解决方案是：先用显式几何搭好骨架，再用多视角记忆补足细节。核心算法包含三大模块：

WorldCast 框架总览：轨迹对齐的几何引导 × 几何对齐的多视角角色记忆

▍尺度对齐的几何引导：先把骨架搭出来

第一步是把二维照片升到三维空间：用预训练深度估计模型得到初始帧深度，反投影成带颜色的 3D 点云，再沿目标相机轨迹渲染，得到与每个目标视角对齐的 RGB 引导图。这一环节有两个关键设计：

其一是深度-轨迹尺度对齐。单目深度只有相对值，和相机平移的尺度天然对不上：尺度错了，点云的近大远小就错了，运镜幅度也会整体失真。WorldCast 会枚举候选尺度，分别渲染并比对图像运动量，选出与参考运动最吻合的那一个。

其二是覆盖掩码。点云渲染并非处处有效，被遮挡、超出视野的区域没有几何支撑，WorldCast 同时输出覆盖掩码，明确告诉生成模型哪些像素点云撑得住、哪些必须由 AI 补全。最后，目标相机几何被编码为 Plücker 射线，与几何引导、覆盖掩码一起注入扩散模型，为每一帧的生成提供显式的空间约束。

▍几何对齐的记忆注意力 GAMA：让证据在正确的时刻到场

骨架搭好之后，还要解决背面长什么样。WorldCast 引入同一角色的多视角锚点图作为补充证据，并通过 GAMA（Geometry-Aligned Memory Attention）决定这些证据如何参与生成。

具体分为三步：

先用分割模型抠出角色前景、压掉背景干扰，再用多视角几何模型对初始帧与全部锚点进行联合相机位姿估计；

然后以初始帧为桥梁，用 Umeyama 对齐把锚点视角的几何与目标轨迹放进同一个坐标系；

最后在共享坐标系下按目标视角检索最相关的角色特征，镜头转到左脸时调取左脸的证据，转到背后时调取背后的证据。身份不再靠模型猜测，而是靠几何查询。

有无锚点几何对齐的注意力路由准确率对比：对齐后路由学习更快、收敛准确率更高

▍CLACT：8 万样本的训练场与 42 个场景的标尺

架构之外，数据是另一个决定性因素，团队构建了角色中心的大角度相机轨迹数据集与基准 CLACT。训练集包含 80,000 条样本，其中 50,000 条由 Unreal Engine 5 渲染、30,000 条由 Blender 渲染并配有多视角角色锚点，相机几何精确可控；评测集覆盖 42 个合成与真实角色场景，涵盖环绕、倾斜、推拉、双纽线、拉远等 6 大轨迹族。轨迹精度、跨视角一致性、视觉质量在同一把标尺上度量，运镜准不准、像不像同一个人、好不好看第一次可以放在一起比较。

CLACT 数据构成与相机配置：UE5 + Blender 双集合、角色/环境规模与轨迹角度跨度

02

性能表现：相机控制与角色一致性全面领先

在 CLACT 基准上（42 个场景 × 6 类轨迹，与 13 个方法同台竞技），WorldCast 拿下了全部相机控制与角色一致性指标第一。

效果总览：大角度运镜生成序列与定量对比——ATE、MEt3R、IQ 三维指标全面领先

轨迹精度影响的是“一次点击的成功率”。ATE 从此前最优的 0.098 再降到 0.065，相当于把生成失败的概率明显压低，用户不必为了生成一个理想的运镜效果进行反复重试。

跨视角几何一致性影响的是画面的真实感。MEt3R 全场最优，意味着人物在整段运动中保持稳定的三维结构，看起来像真实世界里被镜头绕着拍的人。

身份相似度影响的是“这条视频到底是不是我”。相比次优方法提升约 28%，意味着镜头转到侧脸、背面再回到正面时，五官、脸型、发型始终是同一个人。

值得注意的是，几何与身份的强约束并没有换来画质下降：画面质量 IQ 保持在 0.719 的第一梯队水准，同时 CLIP、DINO 两项外观相似度均为全场最高。

三项叠加，用户在 REDMI K100 上的实际体验可以概括成一句话：选一张照片、点一次，就拿到一段运镜准确、人物不崩、画质在线的 3D 运镜视频。

从论文里的技术框架，到用户可一键出片的功能，中间还隔着不少论文里没有的功夫：比如算法蒸馏加速、端云协同部署等。3D 运镜也不是孤立的玩法，它与一键动图、希区柯克变焦、延时摄影一起，构成了 K100 的 AI 影像玩法矩阵。

WorldCast 是小米在可控视觉生成方向上的又一突破，它不只让 REDMI K100 的相册多了一种玩法，更重要的是把方法、数据集和评测方式沉淀了下来。在这套底座之上，团队将进一步探索更复杂的运镜形态、更长的连续生成，以及可控 4D 视频生成技术等。

跳转微信打开