您的位置:首页 人工智能

智源研究院开源700亿参数大模型,基于英伟达、天数智芯完成训练

来源:大半导体产业网    2023-12-01
智源研究院宣布开源700亿参数大模型Aquila2-70B-Expr,该模型基于英伟达、天数智芯混合资源完成训练。

据天数智芯官微消息,11月29日,北京智源人工智能研究院宣布正式开源700亿参数大模型Aquila2-70B-Expr(异构先驱版)。这是首个基于英伟达混合资源及天数智芯混合资源完成训练的大模型,也是智源研究院与天数智芯合作取得的最新成果,再次证明了天数智芯通用GPU产品支持大模型训练的能力,以及与主流产品的兼容能力。

据智源研究院副院长兼总工程师林咏华介绍,此次基于FlagScale v0.2分别在英伟达混合资源(A100集群+A800集群)、天数智芯混合资源(BI-V100集群+BI-V150集群)完成了Aquila2-70B-Expr大模型训练工作。

根据测试结果,这一成果极具商业价值和应用前景,有助于解决智算中心换代升级、增容后新旧计算卡并用难题,为智算中心高效运行提供了新方案。

0