新一代模型技术揭秘
一、引言
随着人工智能的飞速发展，大语言模型的应用越来越广泛。
这些模型需要大量的计算资源进行训练和推理，带来了沉重的计算和存储负担。
为了应对这一问题，研究者们提出了多种架构，其中MoE（Mixture-of-Experts）和PKM（Product Key Memory）是两种主流的方法。
这些方法都存在一定的局限性。
MoE在推理时访存急剧上升，推理延迟增加；而PKM虽然访存开销较小，但模型效果和扩展能力有限。
针对这些问题，字节研究团队提出了一种全新的稀疏模型架构——UltraMem。
该架构有效地解决了MoE和PKM的局限性，实现了推理速度和成本的显著降低。
二、背景
随着大语言模型能力的提升，所需的计算资源呈指数级增长。
在实时应用等资源受限的环境中，这带来了巨大的挑战。
为了应对计算资源的瓶颈，研究者们提出了多种解决方案。
其中，MoE通过稀疏激活专家（expert）的方式，在训练时有效减少计算量。
在推理场景中，MoE的表现不尽如人意。
PKM则提出了large memory layer的概念，包含大量稀疏参数value。
在推理时，每个token通过行路由和列路由定位到得分最高的几个value，进行加权求和作为memory layer的输出。
尽管PKM在访存效率上表现优异，但其模型效果和扩展能力有限。
三、UltraMem架构
UltraMem架构参考了PKM的设计，但针对PKM的三个缺陷进行了补充，以实现更高效的访存、更优质的value检索。具体优化措施如下：
1. 优化模型结构：拆分出多个小memorylayer，以固定的间隔分布在Transformer layer中；增加了skip-layer的操作，使得模型可以并行地执行memory layer的访存操作和Transformer layer的计算。
2. 优化value检索方式：采用更复杂的乘法方法TuckerDecomposedQuery-KeyRetrieval（TDQKR）进行检索，以获取更高的检索质量。
3. 隐式扩展稀疏参数：通过ImplicitValueExpansion（IVE）方法隐式地扩展稀疏参数，同时引入virtual memory和physical memory的概念，以支持更大规模的模型。
四、实验与结果
1. 模型性能评估：研究团队在151M、680M、1.6B三个尺寸的激活参数上进行了实验。结果显示，UltraMem在680M、1.6B上具有显著的效果优势。随着稀疏参数的增加，UltraMem的效果和推理速度显著提升。
2. 消融实验：研究团队在151M激活、1.5B总参数的稀疏模型上进行了全面的消融实验。从最原始的PKM开始，逐渐增加一些技巧和结构改进，最终显著降低了C4 validation loss，同时稀疏参数和计算量几乎不变。
五、UltraMem的优势
相比MoE和PKM，UltraMem具有以下优势：
1. 推理速度：UltraMem实现了相比MoE最高达6倍的速度提升。
2. 推理成本：UltraMem的推理成本最高可降低83%，相比其他架构具有显著的优势。
3. 扩展能力：UltraMem在性能方面随着模型容量的增加，在相同的参数和计算量情况下超过了MoE，表明其具有更强的扩展能力。
六、结论
本研究提出了一种全新的稀疏模型架构——UltraMem，该架构有效地解决了MoE和PKM的局限性，实现了推理速度和成本的显著降低。
通过优化模型结构、优化value检索方式以及隐式扩展稀疏参数等措施，UltraMem在访存和模型效果上实现了显著的优化。
较MoE最高提速6倍，推理成本最高可降低83%，为构建高效和可扩展的语言模型提供了一个有希望的方向。
这项工作对于推动人工智能领域的发展具有重要意义。
本文地址：
本文地址：https://www.nazei.cn/yxzxwz/52e5a5805768727337d6.html
新闻特写，创新赋能绿色亚冬会央视新闻客户端报道，新闻联播，——从浩瀚的冰上世界到雪山脚下的激情四溢，哈尔滨第九届亚洲冬季运动会赛场上的热烈氛围不仅仅局限于竞技的激情，更体现在环保与科技融合的绿色理念之中，本届亚冬会成为了绿色生态的盛会，将创新的力量赋予冬季运动，使绿色成为此次盛会的显著标签，在亚冬会冰上项目场馆，一种新型的技术创新引...。
IT之家报道，人工智能实现自我复制，专家警告潜在风险2月11日，一项由复旦大学研究团队发表在预印本数据库arXiv上的最新研究指出，人工智能，AI，可能已经越过了发展的一个重要边界——自我复制，该研究为人工智能发展的前景带来极大影响，引发了业界内外广泛关注和担忧，据研究结果，两大流行的大型语言模型，LLMs，——Meta的Llama3...。
匈牙利首都布达佩斯，一座庄重典雅的白色小楼矗立在英雄广场的近旁，这里便是布达佩斯中国文化中心，自去年五月，随着习近平主席对匈牙利的国事访问，中匈两国正式签署了关于布达佩斯中国文化中心启动运营的联合公报，标志着这一文化中心正式拉开序幕，它的成立不仅为两国文化交流搭建了新的桥梁，更是对两国友好关系的见证和象征，近日，正值蛇年新春的大年初六...。
大型水陆两栖飞机鲲龙AG600M的蛇年首飞与适航取证冲刺IT之家在2月6日报道了一则令人振奋的消息，中国航空工业集团有限公司宣布，三架由中航工业自主研制的大型水陆两栖飞机鲲龙AG600M在春节期间完成了蛇年的首次飞行任务，这一重大进展不仅标志着我国在航空工业领域的又一重要突破，更是对全国人民的骄傲展示，一、鲲龙AG600M的蛇年首飞2...。
春节假期结束，人们开始面临，节后综合征，适应难、焦虑、情绪低落的现象及解决策略近日，上观新闻报道报道了一则引起社会关注的消息，春节假期过后，许多人出现了节后综合征的症状，这一现象引起了广泛讨论，尤其是在忙碌的春节假期后，很多人都会出现诸如情绪低落、疲惫焦虑等困扰情绪的症状，走亲访友、聚会娱乐后的日常生活转变、假期聚会娱乐带来的身心疲...。
三星电子稳定扩大员工规模与营收增长分析据韩联社报道，三星电子在去年面对复合型危机的情况下，仍扩大招录规模，在韩企用人规模中稳居首位，这一趋势不仅体现在员工数量的增长上，也反映在企业的整体营收和利润增长上，韩国企业数据研究机构CEOSCORE的数据显示，截至2024年底，三星电子不仅是国民年金参保职员数最多的企业，而且近一年新增参保员工...。
路灯光源的种类及其特点，探究不同光源的优势与应用路灯作为城市基础设施的重要组成部分，其光源的选择直接关系到照明效果、能源消耗以及环保程度，随着科技的进步，路灯光源的种类日益丰富，包括低电压钠灯、高压钠灯、金卤灯、无极照明设备、节能灯和LED照明等，以下将对这些光源的种类及其特点进行详细探究，并了解它们在路灯应用中的优势，一、低电压钠灯...。
重庆城市科技学院一、学校介绍重庆城市科技学院位于重庆市北碚区西南大学城八号路2号，是一所经重庆市人民政府批准成立的全日制普通本专科院校，学校环境幽静，建筑风格独特，绿化覆盖率较高，学校致力于为社会培养高素质的实用型人才，集工、理、管、文、艺、法、教育学等7大学科门类于一体，二、王牌专业重庆城市科技学院拥有多个优势专业，其中土木工程、工...。
王者荣耀铭文系统详解及获取方式一、铭文系统概述在王者荣耀中，铭文系统是提升英雄战力的重要组成部分，铭文分为1，5级，等级越高，效果越强，战士、坦克、刺客、法师和射手等英雄都有各自特色的铭文搭配，以适应不同的战斗需求，铭文的属性可以叠加，同样的铭文属性放在一起可以产生更强的效果，二、各级铭文的特点1.1级铭文，基础属性较低，适合新手使用...。
中国互联网新闻中心，国家重点新闻网站，拥有十个语种独立新闻采编、报道和发布权；第一时间报道国家重大新闻事件；国情信息库服务全球读者了解中国；国务院新闻办公室发布会独家网络直播发布网站；拥有国内外顶级学者专家资源，独家编发各种相关政策解读。
蜀商网18年专业的成都网络营销推广公司,提供网站建设,推广,私域流量,新媒体营销运营为一体的成都网络公司,凭借多年建站,营销推广经验,助力3000家企业网络营销精准获客。
武汉今洋吊装有限公司
徐州华通电气科技有限公司始建于2015年，系中国华通机电股份有限公司核心成员单位
是一家专业从事欧美液压元件、液压设备、等产品的进出口销售的企业。公司成立至今与众多国际著名液压品牌厂商密切合作，长期保持着良好的合作关系。主要产品包括：意大利Oleoweb进口单向平衡阀、双向平衡阀、液控单向阀液压锁等，马祖奇MARZOCCHI齿轮泵、VICKERS比例阀、Char-Lynn查林马达、德国BoschRexroth、德国MHA、意大利Salami、德国kracht克拉克等。
上海津龙电气有限公司官方网站|三相隔离变压器|三相干式变压器|配电柜|配电箱|成套电气|国网屏柜
重庆百好科技发展有限公司致力于经营各种流量计，计量齿轮泵，传感器，数据采集系统，换色系统,接头和阀门等产品。我公司为瑞士POMTAVA公司，德国KEM公司，德国HBM公司，德国TRIGAS，以及EG等中国区代理商。公司面向的客户主要集中于汽车，风电，太阳能，新能源电池，工程机械等行业，具体应用为汽车测试、涂装、涂胶、高精度双组分配比等领域，并在相关领域获得了众多用户的积极认可，成为多家国内外知名企业的合格供应商，建立了良好的合作关系。 我公司经过多年的发展，建立了一个优秀团结的合作团队，形成了“团结，互助，合作，共赢”的发展理念，努力做到事事从用户角度出发，多为用户考虑。在代理销售各种进口产品的同时，还可以为用户提供完善的相关产品售前及售后服务，并有能力协助用户进行部分系统的开发及设计。
「官网」苏州、昆山、苏州好先生网络科技有限公司是一家集APP/小程序开发、网站定制、网络营销、创意设计、内容制造为一体的技术型互联网服务企业。☎400-891-9588
浙江国清环保科技有限公司为一家综合性环境科技公司，注册资金2580万元，为浙江省股交中心创新版挂牌企业(代码:851275)。