Meta新技术亮相 VideoJAM框架实现杂技与舞蹈艺术融合
一、VideoJAM框架介绍
VideoJAM框架针对经典的DiT架构进行了补充和优化。
在训练阶段，VideoJAM采用了联合外观-运动表示（JointAppearance-MotionRepresentation）的方法。
这种方法允许模型在生成视频的同时，学习如何预测对应的运动，从而提高了运动一致性。
为实现这一方法，VideoJAM对现有视频生成模型进行了两处关键性改动，添加了输入和输出两个线性投影层。
在表示运动方面，VideoJAM采用了光流（OpticalFlow）的方式。
光流表示视频中像素的位移，VideoJAM将光流转换成RGB格式，使得模型能够像处理普通视频一样处理运动。
这种处理方式无需额外的运动编码器，且兼容性强，可以方便地嵌入到现有的视频生成模型中。
二、训练及推理阶段的优化
1. 训练阶段：联合外观-运动表示
在训练阶段，VideoJAM使模型同时学习视频的外观和运动表示。
通过引入额外的运动预测任务，模型学会了在生成视频时预测对应的运动，从而提高运动一致性。
这种联合学习的方式，使得模型能够更好地理解和表达视频中的运动信息。
2. 推理阶段：内部引导机制
到了推理阶段，VideoJAM采用了内部引导机制（Inner-GuidanceMechanism）来进一步增强生成视频的运动一致性。
这种机制不依赖外部条件，而是使用模型自身在每个生成步骤中预测的运动信息来动态调整生成过程。
这种反馈机制下，模型能够实时捕捉生成视频的动态变化，确保生成的运动场景连贯、一致。
三、生成进程详解
生成视频的进程可以分为两个阶段，内部引导主要应用在其中第一个阶段。
模型的初始输入是随机噪声，模型首先对噪声进行处理，生成初步的视频帧和对应的运动预测。
在生成过程中，模型使用当前帧的运动预测作为指导信号，调整下一个时间步的生成方向。
这样，模型不断审视自己生成的动作是否连贯，并在发现不一致时自动进行调整。
四、实验结果及评估
作者针对文本/外观/运动一致性、视频质量等指标，在4B和30B的DiT模型上运用VideoJAM进行了评估，并与主流视频生成模型进行了对比。
实验结果显示，在4B和30B规模下，VideoJAM将运动质量从原来的78.3和88.1分别提升到了93.7和92.4，提升比例分别为19.67%和4.88%。
并且，应用VideoJAM后，其运动质量也超过了Gen3、Sora等其他对比模型。
五、结论
VideoJAM通过引入运动信息、采用联合外观-运动表示以及内部引导机制等方式，实现了视频生成中的高运动一致性。
这一技术突破为视频生成领域带来了新的可能性，使得生成的视频更加真实、连贯。
未来，我们期待看到更多基于VideoJAM的应用和进一步研究，推动视频生成技术的不断发展。
六、参考文献及链接
本文地址：（请插入本文链接）项目主页：（请插入项目主页链接）微信公众号：量子位（ID：QbitAI），作者：克雷西。
原标题《Meta新视频生成框架拿捏倒立杂技，双人舞也能完美同步！运动一致性暴增近20%，可无缝集成DiT模型》。
相关标签： Meta、 AI、 视频生成、 VideoJAM、
本文地址：https://www.nazei.cn/yxzxwz/1fc98ac9b069f1c39299.html
哈马斯警告，以色列违反停火协议，加沙地带局势紧张升级加沙地带，一个地理位置独特、历史纷争不断的地区，近日再次成为国际关注的焦点，当地时间2月8日，巴勒斯坦伊斯兰抵抗运动，哈马斯，政治局成员巴塞姆·纳伊姆发出警告，指出以色列持续违反停火协议，可能导致协议破裂，加沙地带的局势因此变得愈发紧张，一、哈马斯的警告与加沙地带的紧张局势哈马斯作为...。
西甲风云再燃，马德里德比中的点球战争在一场紧张激烈的西甲第23轮比赛中，皇马与马竞的较量成为焦点，在这场马德里德比中，胡利安·阿尔瓦雷斯在关键时刻的一记点球破门，为马德里竞技首开记录，这粒点球不仅是比赛的重要转折点，更是西甲历史长河中的一笔独特记载，本文将从这场比赛出发，回顾马德里德比中的点球故事，探讨背后所蕴含的历史与文化，一、胡利...。
DeepSeek风潮席卷车圈，车企纷纷拥抱开源大模型一、引言刚刚进入新的一年，一场关于人工智能，AI，的浪潮便席卷了整个社会，而DeepSeek模型的火爆更是成为了行业瞩目的焦点，春节期间，其下载量暴涨375%，登顶中美AppStore免费榜第一，足以看出其在全球范围内的关注度与影响力，如今，这场风潮已经吹到了汽车圈，众多车企纷纷宣布...。
美国前总统安全待遇之争，特朗普撤销拜登的安全许可与情报简报引发争议XXXX年XX月XX日，一则引人注目的消息在社交媒体上迅速传播开来，美国总统特朗普在其社交媒体平台上发表声明，宣布撤销前总统拜登的安全许可，并停止向其提供每日情报简报，这一决定引起了国内外的广泛关注，也引发了社会各界的热议，事件起因于拜登就任美国总统期间的一项决策，据报...。
湿地保护与水资源管理，中国的行动与全球合作水，作为生命之源，滋养着万物生长；湿地，被誉为地球之肾，是生态系统的重要组成部分，党的十八大以来，中国在湿地保护领域做出了巨大的努力，展现了一个负责任的大国在全球环境保护中的积极角色，本文将探讨中国在全球湿地保护领域的贡献与行动，以及与世界共享经验、共谋合作、共促和谐的过程，一、中国的湿地保护...。
标题，苏州大学风景园林专业历年分数线参考及介绍正文，一、苏州大学风景园林专业分数线是多少，苏州大学风景园林专业的分数线因年份、省份、科目等因素而异，以下是部分年份和省份的分数线参考，1.在江苏，历史类风景园林专业的分数线为576分，2022年，，对应的最低录取位次为4079；物理类的分数线为591分，2022年，，对应的最低录取位次为...。
标题，DeepSeek在英特尔AIPC上的运行及其未来发展，以FlowyAIPC助手为例正文，IT之家2月1日消息，英特尔宣布其合作伙伴Flowy已经在最新版的AIPC助手，英特尔酷睿Ultra独享版，上率先支持了DeepSeek，R1模型，这一消息标志着DeepSeek技术在英特尔产品上的进一步应用，也意味着AIPC，人工智能个人计...。
关于首届电竞奥运会延期的消息及国际奥委会的最新回应IT之家于本月早些时候报道，关于首届电竞奥运会可能被延期的传闻在国际社会中引起了广泛关注，国际奥委会近日针对这一问题发表声明，明确表示仍在与沙特阿拉伯方面紧密合作，积极筹备这一备受瞩目的赛事，以下是对这一声明的深入分析以及当前筹备工作的相关背景信息，一、声明内容概述国际奥委会在声明中注...。
地表最强法务部，翻车，任天堂商标争夺战意外输给超市近日，一场看似平常的商标争夺战引发了全球关注，这场战争中，一向强势的任天堂意外失利，败给了一家名为超级马里奥的哥斯达黎加超市，据eurogamer报道，这一事件背后隐藏着许多有趣且引人深思的故事，一、超市与任天堂的商标之争位于哥斯达黎加圣拉蒙的超级马里奥超市，因经营者唐·何塞·马里奥...。
宁夏升盛昌保温工程有限公司，坐落于美丽的宁夏，是一家专业从事保温材料研制、开发、生产、施工服务为一体的多元化经营企业。公司坚持以质量、技术、服务为公司的立足之本，以科技创新为后盾，拥有一支高素质的专业技术队伍和目前国内先进的建筑生产设备和施工设备，产品质量和施工质量超过国家及行业标准，得到了众多用户的广泛好评。
湖南智心心理科教设备有限公司作为心理设备厂家主要致力于心理产品的研发与生产如心理沙盘游戏,团体心理辅导等,涉足教育、医疗,司法,部队,企业,社区等行业,提供了以心理产品(软,硬件)及心理咨询室建设运用综合解决方案!
山东特润石化有限公司是一家集润滑油研发、生产、销售、服务于一体的大型专业润滑油生产企业，公司位于素有“天下泉城”美誉的――山东省济南市，交通便利、风景优美。 “特润”汇集了大批经验丰富的研究、管理及营销人员，具有雄厚的技术力量和先进的管理机制，拥有国内外先进的自动化生产调合系统及大型生产线，年产润滑油、润滑脂等产品5万吨以上。基础油储存能力5000多吨，成品油储存能力3000多吨。
好视通是国内云视频会议知名品牌，拥有多项创新核心技术优势、多方通信服务牌照及行业全面资质，专注为政府、公检法司、教育、集团企业等用户提供“云+端+业务全场景”解决方案，全面支持信创国产化
花伴里集团
广东中耀机电科技有限公司专业生产发电机组、康明斯发电机、上柴动力发电机、东莞发电机、康明斯发电机等品牌，是国内知名柴油发电机组生产制造商
四川一体化污水处理设备厂家推荐成都玛雅环保工程专业从事四川一体化污水处理设备/四川一体化净水设备生产销售以及四川农村分散污水处理/四川环境污染防治设备施工安装,可为您提供四川污水应急处理工程/四川污水运营运维服务,四川污水处理厂工艺设备品质优良,深受客户好评,欢迎广大客户来电详询.
沥青冷补混合料适用于沥青道路修复，促销期间仅需30元/包！购买热线：18925098338
深圳市百谷科技有限公司