“悟道·天鹰”(Aquila)发布24小时后 摩尔线程率先实现兼容适配
admin
2023-06-13 15:05:59
0次

6月9日-10日,智源研究院在北京智源大会上重磅发布了全面开源的“悟道3.0”系列大模型,包括“悟道·天鹰”(Aquila)语言大模型等领先成果。目前,摩尔线程已率先完成对“悟道·天鹰”(Aquila)大模型的推理兼容适配,整个适配过程仅花费不到6小时时间,便已实现与摩尔线程自研MUSAChat应用的无缝集成。此前,摩尔线程曾在ChatGLM发布后24小时内实现适配,并在数小时内适配LLaMA模型,摩尔线程CUDA兼容的技术能力一再被验证。

这充分得益于摩尔线程强大的代码移植工具“musify”。该工具可快速将现有的CUDA程序迁移至摩尔线程MUSA,零成本完成CUDA代码自动移植,之后用户短时间内即可完成热点分析和针对性优化,大大缩短迁移优化的周期,从而使得大模型适配形成了标准“流水线作业”,让开发者可以省时、省力、省事、省心。

目前,基于摩尔线程打造的AI与云计算平台,已经可以运行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等开源大模型,以及摩尔线程自研的MUSAChat和MUSABert等模型的部分训练和推理应用。借助摩尔线程元计算统一系统架构MUSA,用户可以复用PyTorch开源社区的大量模型算子,降低开发成本。与此同时,摩尔线程开源的MT Pytorch可以支持多种模型的推理,覆盖CV、NLP、语音等多个领域,能够运行典型的大模型分布式多卡推理,也可以支持单机多卡与多机多卡的分布式训练。利用数据并行、模型并行以及ZERO等分布式训练技术,MT PyTorch还可以完成简单基础模型以及典型Transformer结构的NLP语言模型的训练。

据悉, 智源此次发布的“悟道3.0”系列开源模型涵盖语言、视觉、多模态等基础大模型,其中,“悟道·天鹰”(Aquila)语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。其在中英文高质量语料基础上从0开始训练,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间内,获得比其他开源模型更优的性能。

相关内容

热门资讯

自荐信要怎么写 自荐信要怎么写  1、语气自然 语言和句子要简单明了。不要听上去象别人的话,特别是用一些你从未用过的...
描写古代女子美貌的句子 导语:窈窕淑女,君子好逑,以下是小编精心为大家搜集整理的描写古代女子美貌的句子,供大家参考。描写古代...
过年回家句子 过年回家句子(精选95句)  在平平淡淡的日常中,大家都收藏过自己喜欢的句子吧,根据用途和语气,句子...
抖音点赞最火最高句子 抖音点赞最火最高句子  在平日的学习、工作和生活里,许多人对一些广为流传的句子都不陌生吧,根据用途和...
世界上最悲伤的句子   1、年少青春在还没有经受起挥霍时就已经不复长存,青梅竹马也只是儿时无知岁月用来消遣光阴的无谓道具...
生活积极的句子 关于生活积极的句子  也许一个人,要走过很多的路,经历过生命中无数突如其来的繁华和苍凉后,才会变的成...
激励上进的正能量句子 激励上进的正能量句子  在我们平凡的日常里,大家总少不了接触一些耳熟能详的句子吧,在不同类型的文章里...
纪念烈士缅怀先烈的句子 2022纪念烈士缅怀先烈的句子(精选65句)  在现实生活或工作学习中,大家都接触过比较经典的句子吧...
回归家乡的句子 回归家乡的句子  句子是语言运用的基本单位,它由词、词组(短语)构成,能表达一个完整的意思,如告诉别...
描写小兔子的段落 描写小兔子的段落大全  1、兔子浑身长满了毛茸茸的白毛,远远看去像一团棉花。它的一双红眼睛被白毛包住...