会画椅子，也会「装」椅子吗？WorldCast 实测 12 个视觉生成模型

• 论文标题：WorldCast: Exploring Intelligent Visual Generation in World State Prediction

• Paper：

• arXiv 论文：https://arxiv.org/abs/2610.20731

• HF Paper：https://huggingface.co/papers/2610.20731

• Project：

• 项目主页：https://teal024.github.io/WorldCast/

• GitHub 代码：https://github.com/teal024/WorldCast

从散落的积木到目标结构，WorldCast 要求模型把中间每一步也生成出来。

给 AI 一张椅子零件图和一张成品图，让它用几张连续图像，展示从散件到组装完成的过程。

这项任务看起来很直观，做起来却不简单。模型得认清各个零件，安排合理的安装顺序，还要记住前面已经装好了什么。如果某个部件凭空出现，或是刚装上的椅腿在下一步换了位置，即使最后一张图画得很漂亮，整个过程也经不起推敲。

类似的问题还会出现在机械臂操作、积木搭建和物理过程模拟中。每一帧都可以单独看起来合理，但把它们连起来，未必是一件真正能发生的事。

随着理解模块和 Agent 被越来越多地引入生成系统，同时支持理解与生成的统一多模态模型（UMM）也在发展，视觉生成开始承担更复杂的任务。模型需要读懂参考信息，推断用户意图，再把这些理解落实到连续生成的画面里。

这种能力究竟发展到了哪一步？WorldCast 给出了一组具体的测试。

这项研究围绕「世界状态预测」，构建了覆盖 8 类任务、320 个手工设计案例、1352 个待生成视觉状态的评测基准，对 12 个代表性图像模型、统一多模态模型和视频生成系统进行了比较。

结果显示，前沿系统已经展现出初步的世界状态预测能力，但不同模型之间的差距相当明显。GPT-Image-2.5 系统取得 72.8 分，超过了参评的视频生成系统；复杂参考信息、多步推理和相互牵制的约束，仍然让多数模型感到吃力。

在 WorldCast 的任务中，参考图承担着不同的作用。

一张图可能告诉模型「现在是什么样」，另一张图给出「最后应该是什么样」。还有一些参考信息描述物体的属性、变化的规则，或展示一套可以借鉴的操作步骤。模型需要判断这些信息分别意味着什么，以及它们应当在生成过程的哪一步起作用。

仍以组装任务为例，成品图提供的是目标，零件图说明当前有哪些材料，操作示范则可能给出某种连接方式。要把过程画对，模型需要把这些信息联系起来，推导出可行的中间步骤。

参考信息越丰富，对模型的要求也越高。它既要分清信息的用途，又要在后续生成中持续遵守这些约束。前一步改变了物体的位置或结构，后一步就必须在这个新状态上继续。

这也是 WorldCast 希望观察的生成智能：模型能否利用复杂的多模态上下文，推演并生成一系列符合任务要求和现实规律的世界状态。

为了让图像与视频系统能够参与同一套测试，WorldCast 将不同形式的输出统一为有顺序的视觉状态序列：逐步生成的图像直接按顺序评估，网格图拆分为各个步骤，视频则提取与任务对应的关键帧。评测关注任务完成度、因果合理性和视觉一致性，也就是任务有没有完成、变化是否合理，以及应当保持不变的内容是否稳定。

12 个参评系统在八类任务上的完整结果如下：

这里的 GPT-Image-2.5 搭配 GPT-6 Astra，GPT-Image-2 搭配 GPT-5.5；分数反映的是各系统在该评测设置下的表现。完整的 12 个系统结果见项目公开榜单。

一个值得关注的结果是：擅长生成连续画面的视频系统，在这些任务中并没有自然获得优势。

组装、操作和物理变化都有各自的先后关系。对于任务是否成立而言，关键在于必要的状态有没有出现，以及它们能否按合理的顺序连接起来。WorldCast 的结果表明，具备较强理解与推理能力的图像生成系统，已经能够在这类多步任务中取得相当有竞争力的表现。

生成方式也会影响结果。论文比较了逐步交错生成与一次输出全部步骤的网格图：GPT-Image-2.5 的得分从前者的 72.8 降至后者的 50.1，相差 22.7 分。

这为多轮生成提供了一个值得继续研究的方向。语言侧可以随着任务推进，为后续画面提供规划和指导；视觉侧则需要准确承接已有状态，让这些规划真正体现在图像变化中。生成轮数增加后，前面的信息还能否被正确使用，也就成为能力的一部分。

研究团队进一步考察了语言模型的作用。

将 GPT-6 Astra 接入 Nano Banana Pro 后，其得分从 42.8 提升至 61.2。但对 GPT-Image-2 而言，将搭配的语言模型从 GPT-5.5 换成 GPT-6，总分仅小幅上涨，物理模拟类别的分数还有下降。这组结果让语言侧与视觉侧的关系变得更具体：语言模型能够提供知识、规划和推理，但这些帮助最终有多少能转化为正确画面，还取决于生成模型如何理解和执行它们。一个计划即使在文字上说得通，生成过程仍然可能丢失约束，或画错关键的空间关系。

顺着这一发现，WorldCast 又向前做了一步：让 Agent 使用代码工具参与生成。

代码在这里有一个很直接的用途——把规划和推演变成可以检查的视觉参考。模型可以先构建中间状态，观察推演结果，再将其中的信息用于图像生成；生成之后，还可以检查结果、发现错误并继续修正。这些代码产物既可以作为视觉参考，也可以帮助 Agent 形成更准确的生成指令。

对组装、物理模拟或遵循规则的任务而言，这提供了更具体的指导。原本需要在文字中反复描述的位置、结构和状态变化，可以通过可视化的中间结果表达出来，供后续生成使用。

实验中，GPT-Image-2.5 加入检查与修正循环后，总分由 72.8 提升至 80.2；采用先使用代码工具构建中间产物、再检查和生成的流程后，达到 82.4 分。代码工具带来的额外收益随模型和任务而变化。

这些结果也给 UMM 的发展提出了更具体的要求。语言侧已经能够调用工具，把一部分推理过程画出来；视觉生成侧需要更好地理解这些中间产物，知道其中哪些内容代表位置，哪些代表规则，哪些只是示意，并把它们正确地用于后续步骤。与此同时，模型自身仍然需要从视觉变化中学习时序与因果关系。物体受到操作后如何变化，某一步会给后续带来什么影响，都需要在连续生成中得到保持。语言规划、工具辅助和视觉建模，最终要在同一个任务过程中配合起来。

WorldCast 的数据、评测工具和评分规则已经公开。对于希望研究多轮生成、世界建模和 Agent 辅助生成的团队，这套任务提供了一个可以直接检验想法的起点。

一把椅子从零件变成成品，中间每一步都有理由。视觉生成模型能把这些理由落实到多少个正确的状态里，值得逐步看清楚。