华为发布了具有数千亿参数的MindSpore1.2AI计算框架

期间，华为在中国召开了2021年开发者大会(云)。活动期间，该公司发布了MindSpore 1.2，这是第一个支持具有数千亿参数的大型模型训练的国内AI计算框架。

最新版本1.2带来了AI框架领域的三项重大创新：“自动并行性，全场景AI和可解释的推荐模型”，使开发人员可以享受AI开发的乐趣。

全场景AI

MindSpore可在云，边缘和终端的不同场景中实现硬件设备的快速应用，高效运行和有效协作。借助全场景AI功能，华为Watch GT腕带识别率提高了80%，延迟小于5ms，模型小于1KB，极大地改善了用户体验。

在云端：通过服务中的自适应模型分段和分布式并行调度技术，它可以支持在多个加速器卡上进行超大型模型的推理部署，并且推理性能与当前业界领先的服务相比提高了30%服务模式;

在边缘方面：通过自适应模型压缩技术，CV(计算机视觉)模型被压缩了2/3，推理时间缩短了50%，并且在用户端测得的精度损失<1%，这可以有效解决边缘计算能力瓶颈;

最后：模型就是代码，然后将模型编译到代码中以实现非常小的ROM(只读存储器)占用率。同时，运营商数据重排技术被用于提高端侧缓存命中率，这可以减少推理延迟并解决部署超轻量级IoT设备时设备类型和内存限制的问题。

全自动并联

MindSpore是业界第一个基于网络拓扑和集群资源自动感知的全自动并行框架。基于全自动并行功能，它开发了业内第一个2000亿中文带参数的预训练模型。

在静态图模式下，MindSpore集成了三种并行技术：管道并行性，模型并行性和数据并行性。开发人员只需要编写单机算法代码并添加少量并行标签即可实现训练过程的自动分段并提高并行算法的性能。调整时间从每月减少到每小时，并且与行业基准相比，培训绩效提高了40%。

在动态图模型中，MindSpore独特的功能微分设计可以轻松地从一阶微分扩展到高阶微分，并且优化了整个图的性能，从而大大提高了动态图的性能;结合创新的通信运营商融合和多流并行机制，与其他AI框架相比，MindSpore动态图性能提高了60%。

华为的肯定：

华为申明MindSpore是业界首个基于网络拓扑和集群资源自动感知的全自动并行框架。它已基于全自动并行功能开发了业内首个2000亿汉语预培训模型。

根据华为的说法，在一个典型的自然语言处理(NLP)神经网络中，MindSpore的核心代码行数比市场上领先的框架少20%，它可以帮助开发人员将其效率提高至少50%。

此外，MindSpore仅处理已处理的渐变和模型信息，因此有助于确保用户隐私。它不会自行处理数据，因此即使在跨场景环境中，私有用户数据也可以得到保护。此外，MindSpore具有内置的模型