Meta新技术亮相 VideoJAM框架实现杂技与舞蹈艺术融合
一、VideoJAM框架介绍
VideoJAM框架针对经典的DiT架构进行了补充和优化。
在训练阶段，VideoJAM采用了联合外观-运动表示（JointAppearance-MotionRepresentation）的方法。
这种方法允许模型在生成视频的同时，学习如何预测对应的运动，从而提高了运动一致性。
为实现这一方法，VideoJAM对现有视频生成模型进行了两处关键性改动，添加了输入和输出两个线性投影层。
在表示运动方面，VideoJAM采用了光流（OpticalFlow）的方式。
光流表示视频中像素的位移，VideoJAM将光流转换成RGB格式，使得模型能够像处理普通视频一样处理运动。
这种处理方式无需额外的运动编码器，且兼容性强，可以方便地嵌入到现有的视频生成模型中。
二、训练及推理阶段的优化
1. 训练阶段：联合外观-运动表示
在训练阶段，VideoJAM使模型同时学习视频的外观和运动表示。
通过引入额外的运动预测任务，模型学会了在生成视频时预测对应的运动，从而提高运动一致性。
这种联合学习的方式，使得模型能够更好地理解和表达视频中的运动信息。
2. 推理阶段：内部引导机制
到了推理阶段，VideoJAM采用了内部引导机制（Inner-GuidanceMechanism）来进一步增强生成视频的运动一致性。
这种机制不依赖外部条件，而是使用模型自身在每个生成步骤中预测的运动信息来动态调整生成过程。
这种反馈机制下，模型能够实时捕捉生成视频的动态变化，确保生成的运动场景连贯、一致。
三、生成进程详解
生成视频的进程可以分为两个阶段，内部引导主要应用在其中第一个阶段。
模型的初始输入是随机噪声，模型首先对噪声进行处理，生成初步的视频帧和对应的运动预测。
在生成过程中，模型使用当前帧的运动预测作为指导信号，调整下一个时间步的生成方向。
这样，模型不断审视自己生成的动作是否连贯，并在发现不一致时自动进行调整。
四、实验结果及评估
作者针对文本/外观/运动一致性、视频质量等指标，在4B和30B的DiT模型上运用VideoJAM进行了评估，并与主流视频生成模型进行了对比。
实验结果显示，在4B和30B规模下，VideoJAM将运动质量从原来的78.3和88.1分别提升到了93.7和92.4，提升比例分别为19.67%和4.88%。
并且，应用VideoJAM后，其运动质量也超过了Gen3、Sora等其他对比模型。
五、结论
VideoJAM通过引入运动信息、采用联合外观-运动表示以及内部引导机制等方式，实现了视频生成中的高运动一致性。
这一技术突破为视频生成领域带来了新的可能性，使得生成的视频更加真实、连贯。
未来，我们期待看到更多基于VideoJAM的应用和进一步研究，推动视频生成技术的不断发展。
六、参考文献及链接
本文地址：（请插入本文链接）项目主页：（请插入项目主页链接）微信公众号：量子位（ID：QbitAI），作者：克雷西。
原标题《Meta新视频生成框架拿捏倒立杂技，双人舞也能完美同步！运动一致性暴增近20%，可无缝集成DiT模型》。
相关标签： Meta、 AI、 视频生成、 VideoJAM、
本文地址：https://www.nazei.cn/yxzxwz/1fc98ac9b069f1c39299.html
吉林师范大学艺术设计的教授及其教授的专业领域瓜准网讯，吉林师范大学的艺术设计学院拥有一批优秀的教授团队，他们分别来自不同的专业背景，具备丰富的教学和研究经验，以下为您介绍部分艺术设计学院的教授及其教授的专业领域，1.杨军，副教授，设计专业主任，长期从事环境艺术设计及素描基础的教学与科研工作，2.闫文芳，副教授，主要领域为环境艺术设...。
华为WATCH4系列智能手表迎来鸿蒙HarmonyOS4.3.0.588版本升级，全新功能体验震撼来袭IT之家消息，华为近日对其畅销的WATCH4系列智能手表进行了重大升级，推出了鸿蒙HarmonyOS4.3.0.588版本，此次更新带来了诸多令人兴奋的新功能，其中包括腕部跑姿监测、手表骑行联动等，丰富了用户的运动体验，同时也彰显了华...。
标题，哪吒之魔童闹海，首部进军全球票房榜前二十的亚洲电影，缔造神话的奇迹据网络平台的实时数据，，哪吒之魔童闹海，这部备受瞩目的国产动画电影，累计票房，含预售，已经超过了97.02亿，它以惊人的影响力，超越了，死侍与金刚狼，的票房成绩，成为首部进入全球票房榜前二十的亚洲电影，这不仅是中国的骄傲，也是整个亚洲电影的里程碑事件，连日来，...。
76人主场遭遇猛龙逆袭，恩比德尽力仍败走多伦多北京时间2月12日，NBA常规赛继续进行，费城76人队主场迎战多伦多猛龙队，在这场激烈的东部对决中，76人从比赛一开始就陷入被动，尽管恩比德表现出色，但最终在末节未能顶住压力，以103，106不敌猛龙，遗憾落败，比赛回顾比赛一开始，76人队就陷入了猛龙的攻势之中，开局4，17落后，尽管此后...。
柏字的读音及其解释柏字是一个有着多种读音的汉字，常见的读音有bǎi、bó、bò三种，下面详细介绍柏字的读音及其解释，一、柏读作bǎi1.柏作为植物名，是一种常绿乔木，叶子鳞片状，结球果，根据其不同的形态和用途，又分为扁柏、侧柏、圆柏、罗汉柏等多种，柏木的木质坚硬，纹理致密，可供建筑及制造器物之用，其中的，柏露，指的是柏树上的露水，据说...。
春天的步伐悄然临近，时尚界也随之迎来一场新的变革，在这个季节，阔腿裤与运动鞋的搭配成为新的潮流焦点，无论是西装阔腿裤、牛仔阔腿裤、运动阔腿裤还是针织阔腿裤，都能与运动鞋巧妙搭配，营造出既轻松自在又不失精致感的时尚造型，一、西装阔腿裤，运动鞋，优雅精致与自由不羁的完美结合西装阔腿裤以其优雅精致的风格，在春季时尚中占据一席之地，当它与运动...。
CBA季后赛冲刺阶段，多支球队开启外援补强模式，新疆及浙江近况揭秘大年初七，春节的喜庆气氛还未完全散去，但CBA联赛的战火已经重燃，随着常规赛第三阶段的临近，各支球队纷纷展开紧张的备战工作，这不仅是对战术、实力的终极检验，也是球队常规赛排名的冲刺阶段，此时，外援的引进工作变得尤为关键，各队都在努力寻找能够提升球队实力的球员，以应对即将...。
文章题目，气象地理效应文章概括，本文详细解释了多种气象地理效应，包括焚风效应、绿洲效应、盆地效应、高原效应、狭管效应、温室效应、阳伞效应、大气的保温效应、热岛效应、干岛效应、雨岛效应等，这些气象地理效应对气候、环境、生态系统等都有着重要的影响，文章还介绍了城市水文效应、水库水文效应等与人类活动密切相关的气象地理现象，一、焚风效应焚风效...。
西甲赛场风云再起，巴萨逆袭阿拉维斯，争冠形势变幻莫测北京时间2月2日晚，西甲第22轮结束一场焦点之战，巴塞罗那主场以1，0战胜阿拉维斯，这是联赛赛场的又一次风云对决，这场比赛不仅仅是积分榜排名的一次重要争夺，更是西甲争冠形势的一次重大转折，赛季上半程一度领跑积分榜的巴萨，在经历了数轮不胜的波折后，终于在这场比赛中展现出强大的实力，力压...。
金粉世家全屋整装专注于定制全屋整装的高科技企业，公司拥有集成墙板、集成墙面、集成吊顶、浴霸、开关插座、高端床垫系列全屋整装产品、全屋定制以及二手房新房装修、专业的设计的别墅定制团队，为您提供海量的自建房及别墅建造装修效果图案例！客服热线：0573-84292011
卫浴多少事，周报三分钟
科大讯飞推出的移动互联网智能交互平台，为开发者免费提供：涵盖语音能力增强型SDK，一站式人机智能语音交互解决方案，专业全面的移动应用分析；
812油价网提供全国各地区实时最新汽油/柴油油价消息，上海、北京、深圳等当地的#92号汽油，95号汽油，98号汽油和#0号柴油当日价格查询，下次油价调整日期和爱车辆油耗费用查询计算工具，每天为你更新提供最新的油价调整信息。
江苏安利达科技有限公司主要生产智能安全带、智能安全锁和智能安全手环等产品。提供高空防坠,智能吊篮等解决方案。未来安利达智能安全带公司将立足于智能安全带、高空防坠、智能吊篮等领域，重点投入并全力拓展全球市场，精心打造集团品牌！为世界输出优质动力！合作热线：0511-88269010
佛山市盈泽电子科技有限公司创立于中国家电制造业之都、全球机器人产业聚集区———佛山顺德。盈泽电子是一家集代理、分销，方案设计开发等为主营业务的一站式电子元器件进出口服务商。
山东康威环保科技有限公司，主营：芬顿反应器，微电解设备，厌氧塔，旋流除砂器，芬顿氧化塔，微电解反应器，铁碳微电解填料，臭氧催化剂，沉淀池，气浮机，一体化污水处理设备等多种污废水处理设备,质量过硬,售后有保障!
武汉市自然资源和城乡建设局,zrzyhcxjs.wuhan.gov.cn
深圳市恒彩光电科技有限公司致力于为客户提供高效、节能、可靠的LED显示屏产品及其整体解决方案、专注全彩LED显示屏、小间距LED显示屏、户外LED显示屏,室内LED显示屏、LED异形屏、LED租赁屏的研发和生产，是乌鲁木齐、拉萨、北京、南京、杭州、成都、贵阳、兰州等地区的LED显示屏供应商。