昇思MindSpore 2.3全新宣告供应20多个开箱即用的业界主流演习模型

大模型已经成为了通用人工智能的关键路径，参数达到了万亿级别，华为估量，未来几年大模型参数会达到百万级别，真正达到通用人工智能的程度。

但是受摩尔定律的限定，算力的增长非常缓慢，与大模型的需求形成了鸿沟，严重制约了大模型的快速发展，人工智能框架的并行打算能力、简洁编程能力、便捷支配能力等，逐渐成为大模型演习的关键成功要素。

大模型训推寻衅

昇思MindSpore技能总经理于璠在会上提到，目前大模型分布式训推的过程当中，紧张存在几个关键寻衅，开拓效率、演习性能以及推理运行本钱。

他表示，在利用万卡集群演习的时候，系统之间须要频繁通信，导致打算利用率急剧低落，当前业界均匀水平也就达到了40%。
此外，在千亿参数模型演习的过程中，大概18-19个小时就会有一次故障，故障规复大概要耗时3-4个小时。

有不雅观点认为，未来万卡集群、十万卡集群的演习中，故障频率可能会进一步提高，可能靠近小时级，算力真正有效的韶光不敷四分之一，这是极大的摧残浪费蹂躏。

昔时夜模型演习好之后莅临盆环境做推理，转换过程也要耗费海量本钱，如果用以前的技能手段，把大模型导出再支配到端侧、边侧的设备上，有履历的工程师须要以月为周期的韶光完成，严重拖累大模型的支配。

大模型在推理侧依然要面临本钱问题，于璠透露，SORA刚刚发布时，华为利用SORA进行一次推理的时候，大概60秒的视频推理韶光要1个小时，花费几十美金。

此外，在性能和本钱之外，大模型的开拓也面临着一些新的寻衅。
科学家或者开拓者既要懂算法，又要懂并行技能，而且在调试过程中每次演习的韶光也非常长，开拓侧的隐形本钱非常高，目前业内很难实现快速大模型快速落地。

昇思MindSpore 2.3发布

华为于2020年3月28日开源了昇思MindSpore框架，开源后访问量数千万，社区核心贡献者超过2.5万，社区贡献比例超过20%，MindSpore社区开源500多种模型，支持伙伴孵化，适配50多个大模型。

从2020年发布1.0版本到2023年发布2.2版本，昇思MindSpore 从支持端、边、云，全场景，到原生支持大模型分布式演习，到支配的全流程，并成为业界首个原生支持科学智能的人工智能领悟框架，超过687万用户下载安装利用。

大模型技能快速迭代演进，业界主流模型也从千亿的稠密走向万亿的稀疏模型，昇思MindSpore 2.3的升级也对应这些需求。

周军表示，昇思MindSpore供应开源开放的训推全流程的开拓套件，支持伙伴基于昇思孵化原生大模型，在模型开拓阶段供应20多个开箱即用的业界主流演习模型，模型开拓的周期缩短30%

昇思MindSpore通过原创的多副本、多流水交织等8种并行技能，使集群线性度达到90%（业界不敷60%），通过整图优化及下沉实行等，使得算力利用率达到55%（业界不敷40%）；针对集群故障率高，规复韶光长的普遍问题，通过编译快照，确定性CKPT技能实现20分钟完成故障规复。

为了帮助行业场景加速大模型运用落地，昇思MindSpore人工智能框架作为算法运用和硬件算力之间的桥梁，推出训推一体办理方案。

在大模型支配方面，昇思通过训推一体的架构升级实现脚本、分布式策略，运行时的统一，Baichuan2-13B的推理支配只需1天。
在大模型推理上，通过LLM Serving 实现推理吞吐提升2倍多；升级模型压缩工具金箍棒2.0实现千亿大模型压缩至十倍。

为降落开拓门槛，昇思持续升级MindSpore TransFormers大模型套件，并供应MindSpore One天生式套件，全流程开箱即用，一周即可完成大模型全流程的开拓。

在AI for Science方面，MindSpore已在AI生物打算探索多年，联合顶级科研机构和伙伴打造了AI生物打算套件，包含蛋白质构造预测、天生等20多个SOTA模型，加速干系领域创新。

从行业维度不雅观测，企业和开拓者选择开源框架紧张关注模型整体的丰富度以及演习的速率，与此前的AI开拓者比较，大模型和AIGC开拓者还会关心基于框架算法的领先性，支配性价比、落地效果以及芯片的适配度，这也将成为未来一段韶光人工智能框架发展的主线。

（本文首发钛媒体APP 作者｜张帅，欢迎添加作者mr3right爆料、互换）