新一代模型技术揭秘
一、引言
随着人工智能的飞速发展，大语言模型的应用越来越广泛。
这些模型需要大量的计算资源进行训练和推理，带来了沉重的计算和存储负担。
为了应对这一问题，研究者们提出了多种架构，其中MoE（Mixture-of-Experts）和PKM（Product Key Memory）是两种主流的方法。
这些方法都存在一定的局限性。
MoE在推理时访存急剧上升，推理延迟增加；而PKM虽然访存开销较小，但模型效果和扩展能力有限。
针对这些问题，字节研究团队提出了一种全新的稀疏模型架构——UltraMem。
该架构有效地解决了MoE和PKM的局限性，实现了推理速度和成本的显著降低。
二、背景
随着大语言模型能力的提升，所需的计算资源呈指数级增长。
在实时应用等资源受限的环境中，这带来了巨大的挑战。
为了应对计算资源的瓶颈，研究者们提出了多种解决方案。
其中，MoE通过稀疏激活专家（expert）的方式，在训练时有效减少计算量。
在推理场景中，MoE的表现不尽如人意。
PKM则提出了large memory layer的概念，包含大量稀疏参数value。
在推理时，每个token通过行路由和列路由定位到得分最高的几个value，进行加权求和作为memory layer的输出。
尽管PKM在访存效率上表现优异，但其模型效果和扩展能力有限。
三、UltraMem架构
UltraMem架构参考了PKM的设计，但针对PKM的三个缺陷进行了补充，以实现更高效的访存、更优质的value检索。具体优化措施如下：
1. 优化模型结构：拆分出多个小memorylayer，以固定的间隔分布在Transformer layer中；增加了skip-layer的操作，使得模型可以并行地执行memory layer的访存操作和Transformer layer的计算。
2. 优化value检索方式：采用更复杂的乘法方法TuckerDecomposedQuery-KeyRetrieval（TDQKR）进行检索，以获取更高的检索质量。
3. 隐式扩展稀疏参数：通过ImplicitValueExpansion（IVE）方法隐式地扩展稀疏参数，同时引入virtual memory和physical memory的概念，以支持更大规模的模型。
四、实验与结果
1. 模型性能评估：研究团队在151M、680M、1.6B三个尺寸的激活参数上进行了实验。结果显示，UltraMem在680M、1.6B上具有显著的效果优势。随着稀疏参数的增加，UltraMem的效果和推理速度显著提升。
2. 消融实验：研究团队在151M激活、1.5B总参数的稀疏模型上进行了全面的消融实验。从最原始的PKM开始，逐渐增加一些技巧和结构改进，最终显著降低了C4 validation loss，同时稀疏参数和计算量几乎不变。
五、UltraMem的优势
相比MoE和PKM，UltraMem具有以下优势：
1. 推理速度：UltraMem实现了相比MoE最高达6倍的速度提升。
2. 推理成本：UltraMem的推理成本最高可降低83%，相比其他架构具有显著的优势。
3. 扩展能力：UltraMem在性能方面随着模型容量的增加，在相同的参数和计算量情况下超过了MoE，表明其具有更强的扩展能力。
六、结论
本研究提出了一种全新的稀疏模型架构——UltraMem，该架构有效地解决了MoE和PKM的局限性，实现了推理速度和成本的显著降低。
通过优化模型结构、优化value检索方式以及隐式扩展稀疏参数等措施，UltraMem在访存和模型效果上实现了显著的优化。
较MoE最高提速6倍，推理成本最高可降低83%，为构建高效和可扩展的语言模型提供了一个有希望的方向。
这项工作对于推动人工智能领域的发展具有重要意义。
本文地址：
本文地址：https://www.nazei.cn/yxzxwz/52e5a5805768727337d6.html
哪吒之魔童闹海，票房破百亿背后的故事，合力托举与动画业的未来近日，电影，哪吒之魔童闹海，以下简称，哪吒2，总票房破百亿，成为中国影史首部票房破百亿的电影，这一辉煌成绩背后，是众多动画公司的合力托举，其中，成都动画影视有限公司，以下简称可可豆动画，与全国138家动画公司、4000多名动画人的紧密合作尤为引人注目，而武汉艺鼎数字科技...。
针对AppleWatchSeries10智能手表扬声器问题的深度解析与解决方案IT之家于2月14日消息报道，苹果公司近期针对部分用户反馈的AppleWatchSeries10智能手表扬声器问题，上线了新的支持文档，该文档指导用户如何排查AppleWatch的扬声器或麦克风故障，并针对这一问题提供了一系列解决方案，在此之前，已有不少用户...。
关于中国移动服务质量投诉途径及如何有效投诉的研究在我们使用移动公司的手机或宽带业务时，可能会遇到各种问题，如信号不稳定、费用计算错误等，面对这些问题，我们首先需要了解如何有效地投诉并寻求解决方案，本文旨在详细介绍如何针对中国移动进行投诉，以及在此过程中需要注意的事项，一、如何投诉中国移动，1.拨打中国移动客服电话10086，接通后，按...。
宋代的元宵盛宴，从美食看传统文化在宣和年间的东京城，每当元宵节到来，繁华的街道便弥漫着各种食物的香气，宋马远的，华灯侍宴图，与宋李嵩的，观灯图，描绘了当时的盛景，鹌鹑馉饳、圆子、拍、水晶鲙等各式小吃在节日的灯光下显得格外诱人，这不仅是一次味蕾的盛宴，更是一场文化的狂欢，一、节日主打食品，圆子与拍元宵节的节日食品，圆子和拍是主打，宋代之...。
吉林，黄金粮仓的崛起与繁荣发展的北国盛景央视新闻小网友们对吉林的热情关注再次引起了广大网友的热烈讨论，这片位于中国东北部的土地，以其辽阔的面积、丰富的资源和繁荣的发展态势，成为了人们瞩目的焦点，让我们走进吉林，深入了解这个拥有黄金玉米带和黄金水稻带的粮食大省，以及它不断迈进的经济发展步伐，一、吉林的地理环境与资源优势吉林，总面积18....。
中新网金华报道，近日在浙江金华兰溪方下店作业区，随着满载货物的集装箱整齐排列，一场由内陆至海外的运输盛宴正悄然启动，一批批货物由乍浦港转口兰溪港集结再扬帆出发，从港口扩散到浙江腹地，这一切背后，揭示着金华这座地处浙江之心的城市在物流领域的不懈追求和崭新成就，金华作为浙江省的重要城市，有着得天独厚的地理优势，其地理位置使得它成为了海陆并...。
新华社哈尔滨报道，国际奥委会主席巴赫亲临哈尔滨亚冬会开幕式，他在接受新华社记者采访时对本次亚冬会充满期待，作为国际体育界的重量级人物，巴赫对中国冬季运动的进步与发展赞誉有加，肯定了中国在举办大型体育赛事方面的专业能力，此刻置身于中国传统冬季运动中心，他深感中国冬季运动的发展势头迅猛，甚至超越了他的高期待，巴赫首先表达了对哈尔滨亚冬会的...。
标题，高通在Windows市场的新动态，骁龙X系列芯片的挑战与机遇IT之家2月6日消息，全球半导体巨头高通公司在未来五年的发展规划中，瞄准了Windows市场超过半数的市场份额，最新发布的财务业绩揭示了其在高端WindowsPC市场上的表现并非如预期般强劲，尽管高通在高端市场的布局策略充满野心，但其首代骁龙X系列芯片却未能获得消费者的...。
首善答卷，颜值爆表的北京——生态文明建设的北京奇迹自2013年以来，习近平总书记连续12年参加首都义务植树活动，这一行动不仅彰显了国家领导人对生态文明建设的重视，也让生态文明建设理念和实践深入人心，北京市在这十多年里，坚定地向雾霾宣战，以一系列切实有效的措施，推动了生态文明建设取得显著成效，本文将从北京市的生态环境改善、政策措施、社会...。
常州市幸运电子设备有限公司是专业的食品水分仪,食品水分仪测定仪,塑料水分仪,塑料水分仪测定仪,饲料水分仪,饲料水分测定仪供应商，主营产品有：食品水分仪,食品水分仪测定仪,塑料水分仪,塑料水分仪测定仪,饲料水分仪,饲料水分测定仪等,常州市幸运电子设备有限公司不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
昆山市昆工环保机械有限公司是集科研、设计、生产、销售及工程方案解决的固液分离设备供应商和工程方案解决商，服务热线：13732662323
河北科商网络科技有限公司位于廊坊广阳区万达广场C座1008室，拥有原生APP开发+微信小程序开发，是一家有态度，服务有温度的廊坊网络公司，不仅服务廊坊APP开发，廊坊小程序开发，廊坊APP制作，廊坊软件开发，廊坊公众号开发等业务，也是优秀的互联网+技术应用解决方案ISV和服务商，公司着重致力于小程序制作、推广与运营,科商网络提供定制程序的解决方案。
螺小叨螺蛳粉隶属成都螺小叨餐饮管理有限公司，螺小叨-螺蛳粉创立于是2018年6月的餐饮品牌，螺小叨主打经营柳州螺蛳粉中国螺蛳粉小火锅开创者定位于年轻消费客群20㎡起可开店,1人即可经营.以科学方法优化生产流程，极致压缩成本开店，和CCTV1、CCTV13品牌中国成功签约战略合作伙伴。面向全国主要发达城市，成长为拥有近百家门店的餐饮连锁品牌公司。
网站建中，敬请期待
从零基础到精通讲解了办公软件中的Word,让您从零基础轻轻松松学会Word的基础操作、排版、简历制作；教程讲解由浅入深,循序渐进,零基础的同学也可以学习。
7MO婚嫁网是婚纱摄影网首选门户网站，涵盖最新最全的婚纱摄影，婚纱摄影工作室，婚纱影楼等真实排名排行信息。为您完美婚礼提供一站式服务。
邓州便民网(www.dzbmw.com)是邓州本地查找发布招聘求职、房产买卖出租、二手交易、征婚交友、拼车出行、家政服务等生活信息的综合门户网站！
超级店长是光云科技旗下的一款中小商家SaaS工具，围绕商品、装修、复制搬家、打单发货、促销、交易评价、一件代发、分销下单、财务利润等多场景的解决方案，涵盖淘宝、1688、京东、抖音等数十个电商平台