图形科技赋能北大校园探索

单图解锁全景视角：ViewCrafter由北大、港中文、腾讯等机构联合推出

在数字时代，随着计算机科技的快速发展，我们对于图像和视频的处理技术也日益精进。
最近，一种名为ViewCrafter的新技术引起了广泛关注。
该技术可以从单张或稀疏输入图像生成精确相机可控的新视角视频，这一创新成果已经引起诸多领域的瞩目。
由北京大学、香港中文大学以及腾讯等机构的研究人员共同研发，ViewCrafter技术现已开源，且提供了在线Huggingface demo供用户使用。

一、传统新视角生成方法的痛点

传统的新视角生成方法，如NeRF（神经网络辐射场）和3D-GS等技术，存在一个显著的痛点：在仅有稀疏（输入图像数量有限，不能提供完整视角或详尽场景信息）甚至单张输入视角的情况下，其应用受到了极大的限制。
同时，传统方法对于训练资源的需求较高，且不具备泛化能力，这也限制了它们在训练资源受限场景下的应用。
因此，如何实现在仅有单张或稀疏图像输入的情况下，快速准确地生成新的视角，成为了一个亟待解决的问题。

二、ViewCrafter技术的实现方式

概括而言，ViewCrafter是基于点云先验的可控视角视频生成。
借助快速多视图/单视图stereo技术的发展，从单张或稀疏图像中快速重建点云表征成为可能。
点云表征能够提供3D场景的粗略信息，支持精确的相机位置控制以实现自由视角渲染。
由于点云的表示能力较弱，加之极其稀疏的输入图像只能提供有限的3D线索，重建出的点云存在大面积的遮挡和缺失区域，并可能面临几何形变和点云噪声等问题。

为了解决这个问题，研究团队将视频扩散模型的生成能力与点云表征提供的显式3D先验相结合，实现了相机精准可控的任意场景高保真度新视角视频生成。
具体而言，给定单张或稀疏视角输入图像，研究团队首先使用快速多视图stereo方法构建其点云表征，以实现精准地移动相机进行自由视角渲染。
随后，为了解决点云渲染结果中存在的大面积缺失区域、几何失真和点云伪影等问题，研究团队训练了一个以点云渲染结果为控制信号的视频扩散模型作为增强渲染器。
这一渲染器能在粗糙的点云渲染结果的基础上进一步生成具有高保真度和3D一致性的新视角。

三、ViewCrafter技术的优势

ViewCrafter技术的优势在于结合了点云提供的显式3D信息以及视频扩散模型的强大生成能力，能够在视频生成过程中实现6自由度的精准相机位姿控制，并生成高保真度、一致性强的新视角视频。
研究团队还采用了一种迭代式的新视角生成策略和内容自适应的相机轨迹规划算法，以逐步扩展新视角覆盖的区域和重建的点云。
这一创新使得从单张图像/稀疏视角甚至一段文字描述中进行3D高斯重建成为可能，为实时渲染和沉浸式3D体验提供了强有力的支持。

四、实验对比与验证

研究团队从多个角度对比了新方法。
在新视角生成方面，团队在Tanks-and-Temples、CO3D、RealEstate1K等多个真实世界数据集上与现有最佳方法进行了定量和定性比较。
实验结果证明，ViewCrafter在相机位姿控制的精准程度以及生成新视角的视觉质量上都优于对比方法。
在场景重建方面，团队也在Tanks-and-Temples数据集上与稀疏视角重建领域的最佳方法进行了对比。
结果证明，ViewCrafter在3D高斯重建渲染出的新视角的视觉质量上也超过了对比方法。
团队还进行了消融实验验证了模型对粗糙点云的鲁棒性。

五、未来展望与结合方向

目前，团队已经验证了ViewCrafter对于静态场景的强大新视角生成能力。
接下来，团队计划进一步探索和单目视频深度估计方法结合以实现单目动态视频的新视角生成和4D重建。
这一结合将极大地拓宽ViewCrafter技术的应用范围，为数字娱乐、虚拟现实、增强现实等领域提供更加丰富的视觉体验。
更多细节欢迎查阅原本文。

六、结语

ViewCrafter技术是一项具有突破性的创新成果。
它将点云先验与视频扩散模型的强大生成能力相结合，实现了从单张或稀疏输入图像生成精确相机可控的新视角视频的目标。
这一技术的开源与广泛应用将为数字娱乐、虚拟现实、增强现实等领域带来全新的视觉体验。

---

---

相关标签： 全景、 开源项目、 ViewCrafter、

上一篇：14T曝光一小米全新旗舰手机小米

下一篇：长安车企重磅发布未来十年发展规划