直接在像素上生成!PixVid将预训练Latent视
我爱计算机视觉 2026-11-18 08:42 江苏
主流视频模型一直靠压缩画面省算力,现在这套玩法碰上高清和实时交互,开始露底了。
分辨率一高,计算量暴涨;多帧压成一个特征,高速运动就容易变形;做交互还得攒够一组指令才动,延迟根本降不下来。
Roblox 牵头的 PixVid 换了个思路:把现成模型直接拉回逐像素生成。它不用从头学,只改输入输出、重训一小块,64 张 B200 跑四千小时就收敛了。
效果挺直观。画质追平甚至反超原模型;升到 960p,算力只涨 17%;高速运动编辑保留率冲到 98%,背景轮廓严丝合缝。交互延迟从近半秒压到 34 毫秒,按键下一帧就有反应,比原来快了 14 倍。
代码还没开源,但路已经亮出来了——预训练模型能当先验用,没必要死守 VAE 那套压缩。












本文转载自微信公众号「我爱计算机视觉」,查看原文。版权归原作者所有,如有侵权请联系删除。