类Sora模型在物理规律方面的表现

机器之心发布视频生成模型的现状与挑战

近期，机器之心编辑部发布了一系列关于视频生成模型的文章和视频，引发了行业内对于视频生成模型是否能理解物理规律的热烈讨论。
自Sora横空出世以来，业界对于视频生成模型是否具备“世界模型”的潜力一直存在争议。
图灵奖得主Yann LeCun、Keras之父François Chollet等人都对此发表了自己的看法，而最近，字节豆包大模型团队公布的一项系统性研究更是为这一议题划上了不等号。

一、视频生成模型的现状

目前，市面上的视频生成模型已经能够生成一些看似符合常识的视频。
最近的研究表明，这些模型虽然能够通过扩大模型参数和训练数据量来提高生成视频的质量，但它们仍然无法理解物理规律。
基于文本提示生成的逼真视频并不代表模型真正理解了物理世界。

二、豆包大模型团队的研究

为了深入研究视频生成模型是否理解物理规律，字节豆包大模型团队进行了一项系统性实验。
他们通过专门开发的物理引擎合成了多种经典物理场景的运动视频，用于训练基于主流DiT架构的视频生成模型。
实验结果显示，即便依照Scaling Law扩大模型参数与训练数据量，模型依然无法抽象出一般物理规则，甚至连基本的物理现象如牛顿第一定律、抛物线运动都无法领会。

三、模型的理解能力与泛化能力

视频生成模型目前的问题在于，它们更像是一个“抄作业”的学生，可以记忆案例，但还无法真正理解物理规律，做到“举一反三”。
因此，当遇到未学习过的场景时，模型会“犯迷糊”，生成结果与物理规则不符。
模型的泛化能力受到了严重的挑战。
即使模型在训练数据上表现良好，但在新的、未见过的数据上，其表现往往不尽如人意。

四、关于组合泛化场景的研究

在组合泛化场景中，豆包大模型团队发现，如果训练视频中的概念和物体都是模型已熟悉的，此时加大训练视频的复杂度，比如增加物体间的物理交互，通过增加训练数据，模型对物理规律的遵循会越来越好。
对于模板内测试集的表现最佳的是使用较少模板训练的模型，因为每个训练示例被反复展示。
这表明模型容量和组合空间的覆盖范围对组合泛化至关重要。
这也意味着视频生成的Scaling Law应当侧重于增加组合多样性，而不仅仅是扩大数据量。

五、机理探究：模型如何依赖记忆和案例模仿

对于模型如何依赖记忆和案例模仿的问题，豆包大模型团队进行了相关实验。
他们发现视频生成模型更多依赖于记忆和相似案例进行模仿，而非抽象出普遍的物理规则。
模型在颜色和大小等属性上的匹配优于形状和速度。
对于复杂的组合泛化，模型展现出一定的能力，但受限于案例匹配。
在不了解底层规则的情况下，模型可能会生成不符合现实的结果。

六、挑战与展望

当前视频生成模型面临着诸多挑战，如理解物理规律、泛化能力、依赖记忆和案例模仿等问题。
未来，视频生成模型需要进一步提高对底层规律的理解，而不仅仅是依靠记忆和案例模仿。
如何提高模型的泛化能力，使其能够在未见过的场景上表现良好，也是未来的一个重要研究方向。

七、结语

虽然视频生成模型已经取得了一些令人瞩目的成果，但它们仍然面临着许多挑战。
通过深入研究这些问题，我们有望更好地了解视频生成模型的潜力，并推动其向更广阔的领域发展。

---

---

相关标签： 实验、 物理规律、 类sora模型、

上一篇：百度全新AI眼镜即将发布

下一篇：最新科学期刊发布重大突破