99科技给大家分享各类生活学习资讯!
您现在的位置是: 首页 > 人工智能 > 中国电信全球首发单体稠密万亿参数语义模型Tele-FLM-1T

中国电信全球首发单体稠密万亿参数语义模型Tele-FLM-1T

6月19日消息,中国电信人工智能研究院(TeleAI)携手智源研究院,共同研发出全球首个单体稠密万亿参数语义模型——Tele-FLM-1T。这一里程碑式的突破,不仅丰富了Tele-FLM系列模型家族,更标志着中国在人工智能领域取得了重要进展。

中国电信全球首发单体稠密万亿参数语义模型Tele-FLM-1T

TeleAI 和智源研究院基于模型生长和损失预测等技术,Tele-FLM 系列模型仅使用了业界普通训练方案 9% 的算力资源,基于 112 台 A800 服务器,用 4 个月完成 3 个模型总计 2.3T tokens 的训练。模型训练全程做到了零调整零重试,算力能效高且模型收敛性和稳定性好,Tele-FLM-1T 版本即将开源。

目前,TeleFLM 系列模型已经全面开源了 52B 版本,核心技术 (生长技术、最优超参预测)、训练细节 (loss 曲线、最优超参、数据配比和 Grad Norm 等) 均开源,开源模型下载量过万,积累超 40 万用户。

此外,中国电信在某市民生诉求场景项目上,通过引入 TeleChat-52B 模型能力,整体应用效果提升 40%,达到行业领先水平。

新买特斯拉半年突然着火,车主:要获得补偿得签保密协议

2024/6/19 14:19:29

小米MIX Flip重磅来袭:下月发布,高分内屏与顶级影像技术引领潮流

2024/6/19 14:35:28