揭秘中国电信AI研究院在AI领域取得的重大突破

中国电信人工智能研究院成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型：星辰语义大模型TeleChat2-115B的突破与开源

IT之家报道，9月28日，中国电信人工智能研究院（TeleAI）宣布了一项重大科研成果。
该院成功完成了国内首个基于全国产化万卡集群训练的万亿参数大模型，并正式对外开源了首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型TeleChat2-115B。
这一突破标志着国产大模型训练真正实现了全国产化替代，正式进入全国产自主创新、安全可控的新阶段。

一、背景介绍

随着人工智能技术的飞速发展，大模型训练已成为自然语言处理、图像识别等领域的关键技术。
为了突破国外技术垄断，实现技术自主创新，中国电信人工智能研究院致力于大模型训练的研究。
在此背景下，TeleAI成功完成了国内首个基于全国产化万卡集群训练的万亿参数大模型，具有里程碑意义。

二、技术细节

星辰语义大模型TeleChat2-115B基于中国电信自研的天翼云息壤一体化智算服务平台和人工智能公司星海AI平台训练完成。
在保证训练精度的前提下，TeleAI利用多种优化手段提升模型训练效率和稳定性，实现了GPU同等算力计算效率超93%，模型有效训练时长占比超98%。

针对超大参数模型训练，TeleAI采用了大量小模型进行Scaling，通过验证不同模型结构的有效性，积累了宝贵的实践经验。
同时，在数据配比方面，基于小模型的实验结果反馈，采用回归预测模型，得到较优数据配比。
这一创新为大规模参数模型的训练提供了新的思路和方法。

三、模型训练过程

在Post-Training（后训练）方面，TeleAI采取了一系列创新策略。
针对数学、代码和逻辑推理等内容合成了大量问答数据，用于SFT（监督式微调）第一阶段的模型训练。
采用迭代式更新策略，使用模型对提示词数据进行指令复杂性提升与多样性扩充。
通过模型合成和人工标注提升答案质量，并利用拒绝采样获取优质SFT数据及RM（奖励模型）代表性数据，用于SFT训练和DPO（偏好对齐）训练，以及模型效果迭代。

四、开源地址及贡献

IT之家附开源地址：[点击此处进入开源地址]

这一开源举措将极大地推动国内人工智能领域的发展，为科研工作者和开发者提供强大的模型训练工具和参考。
同时，这也是中国电信人工智能研究院对国内外开源社区的重要贡献，展示了中国在人工智能领域的实力和自主创新能力。

五、意义与展望

星辰语义大模型TeleChat2-115B的成功训练和开源，标志着中国在人工智能领域取得了重大突破。
这一成果不仅实现了全国产化替代，而且为国内外科研工作者和开发者提供了丰富的资源和参考。
未来，随着技术的不断进步和应用的不断拓展，中国电信人工智能研究院将继续致力于人工智能领域的研究和探索，为人工智能的发展做出更大的贡献。

中国电信人工智能研究院成功完成的国内首个基于全国产化万卡集群训练的万亿参数大模型，是人工智能领域的一次重大突破。
这一成果的开源将推动国内人工智能领域的发展，展示中国在人工智能领域的实力和自主创新能力。

---

---

相关标签： 人工智能、 中国电信、 大模型、

上一篇：聚焦实战演练提升服务质量业务测试正式启动

下一篇：印度塔塔电子工厂遭遇重大事故影响iPhone组