技术生态异军突起,昇思MindSpore进入AI框架第一梯队

原创 Alter聊科技 2023-02-16 17:35


撰文 /   张贺飞
编辑 /   沈菲菲

ChatGPT掀起的新一轮人工智能狂欢下,隐藏在背后的“大模型”正进入越来越多开发者的视野。

诚如几年前开始流行的一种说法:数据是燃料、模型是引擎、算力是加速器。ChatGPT的出现,恰如其分地诠释了数据、模型和算力的“化学反应”。而在其中扮演“桥梁”角色的,恰恰是上承应用、下接芯片的AI框架。


正是在这样的背景下,市场调研机构Omdia通过对AI开发者进行调研,在日前发布了《中国人工智能框架市场调研报告》,向外界揭示了国内开发者对于AI框架的认知,以及不断变化的行业格局。


 01 

开发者眼中的AI框架市场


随着ChatGPT的热度越来越高,不少人坦言:“人工智能领域正在引发新一轮科技竞赛”,其实AI的学术竞赛在2020年前后就已经开始。


OpenAI在这一年推出了著名的GPT-3,拥有1750亿参数量;DeepMind的AlphaFold2在第14届国际蛋白质结构预测竞赛中夺冠;同时全球AI论文发表量逐年增长,来自中国的论文比例越来越高...... 顶会论文、大模型、科学智能代表的技术生态,达到了前所未有的热度。


同样是在2020年,以昇思MindSpore等为代表的中国AI框架纷纷开源,开始了追赶TensorFlow、PyTorch等前辈们的追逐赛,中国AI框架的崛起和技术生态的繁荣,不可避免地出现了交叉。


就像Omdia在《中国人工智能框架市场调研报告》中给出的观点:在大模型应用的趋势下,国内开发者对于AI框架的认知发生了一些微妙的变化。


比如“对于超大规模模型训练能力,您觉得哪个人工智能框架最好?”的问题中,36%的开发者投票给了TensorFlow/JAX,15%的开发者选择的是PyTorch,昇思MindSpore以10%的占比排名第三。


需要说明的是,开发者的答案在某种程度上受到了认知习惯的影响,自然而然地给“老牌框架”打了高分。譬如谷歌的TensorFlow并非原生支持大模型,通过新推出的另一个新生框架JAX作为TensorFlow的简化库融入;PyTorch则是靠第三方并行算法库补充了大模型支持能力。昇思MindSpore正依托原生支持大模型的能力快速崛起。


再比如“您认为最适合做AI for Science项目的人工智能框架是?”的问答下,TensorFlow和新生框架JAX收到了45%的开发者支持,昇思MindSpore在这个问题下超过了PyTorch,以37%的支持率排名第二。




而在人工智能框架使用率的排名中,TensorFlowPyTorch的先发优势依然存在,但昇思MindSpore以11%的份额进入第一梯队。TensorFlow早在2015年就已经开源,PyTorch的历史也可以追溯到2017年,昇思MindSpore比“前辈”们晚了三到五年,但表现出了快速赶超老牌AI框架的态势,扮演了“挑战者”的角色。


如果说Omdia的报告主要是基于开发者的认知,可能与实际情况存在一定出入,那硬核的技术生态与行业生态的合作,则以板上钉钉的数字佐证着昇思MindSpore等中国AI框架崛起态势:


在技术生态方面,昇思MindSpore已经与200多所高校、科研机构展开创新合作;在行业生态方面,仅在2022年获得昇思技术认证的企业就超过800多家,涵盖制造、金融、电信运营商等国计民生行业;在开源生态方面,昇思MindSpore在Gitee AI开源项目综合排名TOP1,软件下载增速第一,总量已超过370万……


 02 

昇思MindSpore越级的时与势


一个残酷但有现实意义的现象是,2020年AI框架市场还是一幅百家争鸣的景象,目前却出现了典型的虹吸效应。


按照Omdia的调研数据,在中国人工智能框架的使用率方面,TensorFlow、PyTorch、昇思MindSpore和飞桨合计占了86%的市场份额,大多数AI框架的使用率不足1%,曾经声名鹊起的Caffe、CNTK等已逐渐掉出主流队伍,只有昇思MindSpore一家逆势进入了AI框架的第一梯队。


想要弄清问题的答案,昇思MindSpore可以说是最好的研究对象。过去近三年时间里,昇思MindSpore到底做对了什么?


第一个参考答案是大模型的“时”。


2021年9月的华为全联接大会上,昇思MindSpore迭代至1.5版本,最直接的变化就是原生支持AI大模型训练,通过全自动并行、可视化智能调优等大幅提升了大模型的开发效率。 


其中在大模型并行训练上,昇思MindSpore支持数据并行、MoE并行、优化器并行、多副本并行等7大并行计算能力,将训练千亿模型的代码量降低了80%、调优时间下降60%;和TensorFlow、PyTorch等框架相比,昇思MindSpore是支持模型结构最全的AI框架,包含稠密、稀疏MoE、卷积结构、高维稀疏等。



第二个参考答案是应用创新的“势”。


2022年11月发布的2.0版本中完成了AI与HPC的融合,通过神经网络模拟的非线性拟合,让科学家无需再解高维方程,进一步提升了科技创新效率。特别是在产业应用创新方面,昇思MindSpore构建了流体仿真、电磁仿真、分子模拟在内的科学计算套件,持续使能应用创新。


和PyTorch的兴起不谋而合,昇思MindSpore也将技术生态作为“先手棋”。印证昇思MindSpore “路线正确”的案例,绝不止Omdia的报告和开发者的认同,还有一份沉甸甸的成绩单。




衡量创新能力的一个重要标准正是论文数量。按照Papers with Code网站的统计数据,2022年使用昇思MindSpore的顶级会议论文已经超过600篇,在国内AI框架中排名第一,在全球范围内仅次于PyTorch


而在大模型的创新中,目前国内科研院所和高校已经发布了10多个基于昇思MindSpore的大模型。其中紫东.太初是全球首个三模态大模型,能够实现视觉、文本、语音三个模态间的高效协同,曾在2022世界人工智能大会上斩获“卓越人工智能引领者”奖;东方.御风是业界首个工业级流体仿真大模型,在进行飞机流场模拟仿真时,对比传统的科学计算,在精度一样的情况下,东方.御风的仿真时间只需要原来的1/25。


如果把人工智能产业生态比喻成森林的话,人工智能框架就像是森林中的土壤,寻求创新的开发者自然会“择水土而居”。


 03 

不应被忽视的可信AI问题


在全民“调戏”ChatGPT的风潮中,ChatGPT有时会“一本正经地胡说八道”,这其实暴露了存在事实性错误、知识盲区和常识偏差等诸多问题。


Omdia在《中国人工智能框架市场调研报告》中向开发者询问了类似的问题,最终的答案似乎超出了一些人的料想:在所有主流人工智能框架中,国内的开发者普遍认为TensorFlow 与 昇思MindSpore 对“负责任的人工智能”提供的支持最好。



个中原因其实不难解释。为了打消开发者担心的安全隐私等问题,谷歌通过Model Cards等工具让框架更加透明、更具备可解释性,同时TensorFlow也提供了一系列支持数据安全和隐私的功能、库和培训工具。


昇思MindSpore之所以能够在可信方面超越PyTorch,离不开对AI安全技术体系的布局,提供了涵盖AI训练、AI测评、AI部署的一整套端到端的安全可信体系,包括联邦学习、模型水印、模型加密等外界所熟知的可信机制。


比如联邦学习是一种常见的隐私保护方式,可以在不收集数据的情况下协同进行模型的训练,实现数据的“可用不可见”,继而保护隐私信息。然而联邦学习和大模型的结合也产生了诸多挑战,涉及到计算代价、通信开销、隐私泄露、模型安全等等,需要解决隐私保护与效率的两难课题。


昇思MindSpore的回答是跨域可信训练。


以鹏城.盘古大模型为例,昇思的联邦学习能力助力盘古超大模型协同训练,根据各地算力情况将大模型拆分,以AI计算中心超大算力实现盘古主干网络的正反向训练,同步在银行等计算机房做数据处理,模型Embedding、TOP层算Loss正反向训练,实现了敏感数据不出本地,并让联邦学习的训练时延降低了30%、通信和计算开销降低了40%。




就像Omdia在报告中的评论:“负责任的人工智能”即是一套道德准则,又是一套技术体系, 是以安全、可靠和合乎道德的方式开发、评估、部署和规模化人工智能系统的方法,对人工智能的可持续发展非常重要。


大模型、科学智能等技术生态在过去三年时间里深入影响了开发者对AI框架的选择,把时间再拉长一些的话,能否在可信AI方面有所作为,能否打消开发者的疑虑,无疑将左右AI框架下一个三到五年的市场排位。


 04 

写在最后


人工智能的星星之火能否燎原,AI框架有着不可或缺的作用。


一座城市的繁荣,不在于有多高的摩天大楼,而是无处不在的建筑群。沿循这样的逻辑,AI框架的价值在于赋予不同的开发者“建造高楼”的能力,让人工智能的前沿能力进入每一个行业、每一家企业。


至少,以昇腾AI为首的中国人工智能产业建设者早已开始发力。


不只是昇思MindSpore在技术生态上的异军突起,Atlas系列硬件、异构计算架构CANN、昇腾应用使能MindX等软硬件也在持续创新,为开发者打造了“端、边、云”的全场景AI基础设施,让人工智能在千行百业不断扩散。


主理人 | 张贺飞(Alter)


前媒体人、公关,现专职科技自媒体


虎嗅、钛媒体、36kr、创业邦、福布斯中国等专栏作者


转载、商务、开白以及读者交流,请联系个人微信「imhefei」

Alter聊科技 探究产业兴衰,专注商业解读。
评论 (0)
  • Java算法大全源码包开源源码.rar
    Java算法大全源码包开源源码
  • 基于JAVA的文件传输设计与实现(包含论文及源代码)
    基于JAVA的文件传输设计与实现(包含论文及源代码)
  • 基于JAVA的班主任管理系统设计与实现(包含源代码及论文)
    基于JAVA的班主任管理系统设计与实现(包含源代码及论文)
  • WebGL、Three.js前端高薪3D可视化课程
    今天给大家分享一套WebGL/Three.js视频教程——《WebGL/Three.js前端高薪3D可视化》,又名:《Three.js/WebGL3D可视化系统课程》,课程持续升级更新中,提供配套的源码下载!

    《WebGL/Three.js前端高薪3D可视化》是目前全网最全的一套关于WebGL/Three.js的视频教程,一共700多课时,涉及众多实战案例,比如智慧城市,产品720展示(轿车、手机),收费站,物联网粮仓,大屏3D地图可视化,大屏3D地球可视化,WebGPU等内容。

    《WebGL/Three.js前端高薪3D可视化》,又名:《Three.js/WebGL3D可视化系统课程》,内容巨多!(入门+中级+高阶+案例),全网除了本课程,很少有课程提供那么多高级进阶的案例或知识讲解,这意味着,初学者除了入门学习,还可以长期进阶学习,已经入门的可以拿来高级进阶。

    本课程包含大量经典前沿的可视化项目,从基础入门到深入讲解,我们致力于做一套Web3D系统的课程,讲师在该专业有多年的经验,是国内最早一批的教授 Three.js+WebGL网络课程的讲师,并不断跟随该行业的发展更新自身技术与教程.不同于那些见缝插针,多会而不精的技术商人,老师始终专注于3D的行业动向,正所谓师者,传道受业解惑者也.期待与大家共同进步,-起面向更好的未来。

    Three.js 是一款运行在浏览器中的3D 引擎,你可以用它创建各种三维场景,包括了摄影机、光影、材质等各种对象。你可以在它的主页上看到许多精彩的演示。不过,这款引擎还处在比较不成熟的开发阶段,其不够丰富的 API 以及匮乏的文档增加了初学者的学习难度(尤其是文档的匮乏)three.js的代码托管在github上面。

    WebGL(Web Graphics Library)是Web上3D图形的新标准,它是为渲染2D图形和交互式3D图形而设计的。它源自 OpenGL 的 ES 2.0 库,这是一个用于手机和其他移动设备的低级 3D API。WebGL 提供了与 ES 2.0(嵌入式系统)类似的功能,并且在现代 3D 图形硬件上表现良好。WebGL是一个可与 HTML5 一起使用的 JavaScript API。WebGL 代码写在 HTML5 的 <canvas> 标记内。它是一种规范,允许 Internet 浏览器访问使用它们的计算机上的图形处理单元 (GPU)
  • 基于JAVA的SMART系统-系统框架设计与开发(源代码+论文)
    基于JAVA的SMART系统-系统框架设计与开发(源代码+论文)
  • 基于JAVA的本地监听与远程端口扫描设计(源代码+论文)
    基于JAVA的本地监听与远程端口扫描设计(源代码+论文)
  • 法拉电容点焊机PCB与avr单片机程序

    法拉电容点焊机PCB与avr单片机程序

    法拉电容点焊机PCB与avr单片机程序

    法拉电容点焊机PCB与avr单片机程序

  • 电路板设计 针对各种噪音的降噪方法3
    避免横跨开口槽布线,要尽量保持在同一 中布线。
  • Linux云计算运维工程师路线图(集群、虚拟化、K8S、Docker、智能化、Python大数据)
    Linux云计算运维工程师路线图(集群、虚拟化、K8S、Docker、智能化、Python大数据)课程分享

    从目前市场发展情况以及应用率来说,Linux云计算的就业前景是非常不错的,至少在未来十年都是非常不错的职业,市场上对于Linux人才需求量很大,就业薪资待遇也是非常不错,有百分之八十的公司都在使用Linux;学习Linux之后可以从业的岗位也是非常多的,比如说:
    Linux运维工程师
    Linux运维平台研究工程师
    运维开发工程师
    运维总监
    大数据运维工程师
    系统运维架构师

    随着互联网的高速发展、网站规模越来越大、架构越来越复杂,对网络运维工程师的需求也会越来越急迫,特别是对有经验的人才需求量大,而且职业发展前景非常好。

    Linux云计算运维工程师路线图(集群、虚拟化、K8S、Docker、智能化、Python大数据)持续更新
    第一阶段Linux基础环境搭建篇
    第二阶段Linux磁盘管理
    第三阶段Linux网络篇
    第四阶段Docker篇  
    第五阶段Kubernetes(K8S)篇 
    第六阶段Shell基础+实战 
    地七阶段搜索引擎运维篇+logstash日志收集
    第八阶段自动化运维
    第九阶日志监控系统Promethus
    第十阶段K8S监控方案
    第十一阶段大型在线教育运维项目

  • 基于Java的ME无线网络移动端的俄罗斯方块游戏设计(论文+源代码)
    基于Java的ME无线网络移动端的俄罗斯方块游戏设计(论文+源代码)
  • 基于JAVA+SQL电子通讯录带系统托盘(源代码及配置文档)
    基于JAVA+SQL电子通讯录带系统托盘(源代码及配置文档)
  • 基于JAVA的物业管理系统设计与实现(包含论文及源代码)
    基于JAVA的物业管理系统设计与实现(包含论文及源代码)
  • 在过去的20年,传感器厂商不断研究创新的测量原理和敏感材料,这些成果能让我们用到高集成、低成本的传感器,其中,最成功也是最具颠覆性的,无疑是MEMS技术在传感器制造中的应用。MEMS技术在传感器的大规模应用,让传感器的小型化、低功耗、智能化成为可能,从而推动了传感器在物联网、消费电子、汽车电子等领域的广泛应用,促进了数字经济的发展和智能时代的到来。可以说,在过去20年,MEMS颠覆和扩展了传感器。传感器专家网https://www.sensorexpert.com.cn专注于传感器技术领域,致力
    传感器专家网 2023-06-08 19:28 206浏览
  • MSDS中干电池、铅酸蓄电池、锂电池正负极材料介绍191-0751-6775一、干电池干电池也叫锰锌电池,所谓干电池是相对于伏打电池而言,所谓锰锌是指其原材料。针对其它材料的干电池如氧化银电池,镍镉电池而言。锰锌电池的电压是15V。干电池是消耗化学原料产生电能的。它的电压不高,所能产生的持续电流不能超过1安培。锌锰干电池:正极材料:锰、石墨棒负极材料:锌镁锰干电池:正极材料:二氧化锰粉、氯化铵及碳黑组成的一个混合糊状物负极材料:镁筒锌空气电池:正极材料:用活性炭吸附空气中的氧或纯氧作为正极活性物
    陈丽莎 2023-06-09 16:43 153浏览
  • 苹果如何重新定义AR?在如今以智能手机为主的消费电子市场下行阶段,市场急需开辟一个新的领域带来新的增长点,以往被寄予厚望的VR/AR等头显设备在经历了数年发展后,依旧难堪大任,业界都把希望寄托在苹果身上。简单来说,Vision Pro本质上其实还是VR设备,不过所有操作界面可以结合头显摄像头捕捉的外界环境,在头显内部显示出来,即一款数字内容无缝融入真实世界的VR显示设备。同时Vision Pro的操作方式无需手柄,完全通过眼睛、双手和语音,通过苹果为Vision Pro打造的空间操作系统Visi
    华秋商城 2023-06-08 10:32 150浏览
  • 半导体制冷片是电子器件中重要的辅助元件,用于控制器件的温度,从而保证器件的稳定性和可靠性。在半导体制冷片的制造过程中,半导体制冷片的基板材料选择是非常关键的,因为基板材料的性能会直接影响到制冷片的性能。同时作为精密制冷片新型技术,对陶瓷基板的要求也高于普通基板。1.外观要求:严格的铜面平整度,粗糙度要求控制在0.5um以内,铜面上不允许有凹坑、铜颗粒、氧化、任何形式的外观划伤等。2.尺寸要求:完成板厚控制公差在10-20um以内,而陶瓷板材的来料公差就有±30un公差,这就意味着需要挑选公差范围
    斯利通陶瓷电路板 2023-06-08 11:50 199浏览
  • 近期有点全身心投入到了嵌入式驱动的开发意思了,起早贪黑的学习。不过也是,人生的路都是在不断地学习中度过的。对于干了几年的硬件工程师而言,不说硬件是不是很牛了,就是想换换脑子,整天三极管、电阻、电容的,确实让人乏味。思来想去,硬件是软件的基座,驱动是软件沟通硬件的桥梁。倒不如自己整点知识,也方便自己以后调试硬件不是,再说了从软件角度去理解硬件思维,会有很多不同的收获不是。 奋战了一个月,倒是把驱动的基本框架了解七七八八了,兴致使然,图像采集感觉还不错,公司有产品当开发板,也是省下了大部分的学
    二月半 2023-06-08 12:09 703浏览
  • 电源适配器CE认证标准测试项目,电子产品现在用的是相当的广,常见的产品就一大堆,比如说手机电脑等都会使用到电源适配器。电源适配器适用范围很广,不仅在移动设备端,在其它领域也会应用到。电源适配器CE认证,一般会做CE认证中的低电压指令LVD和电磁兼容指令EMC,欧洲能效认证ERP,RoHS等。下面具体来看看认证这么做吧。电源适配器为什么要做CE认证?CE认证制度下的LVD低电压指令涵盖了交流50V-1000V,直流75V-1500V的所有带电产品,EMC指令涵盖了所有有电路板产生电磁辐射的带电产品
    陈丽莎 2023-06-08 14:09 249浏览
  • 近年来,伴随着智慧化港口的大潮流,经纬恒润L4高级别智能驾驶业务产品也陆续扎根港口自动驾驶多个项目中,帮助港口实现无人水平运输自动化,达到降本增效的效果,助力客户实现智慧化绿色港口。   在整个港口水平运输场景中,经纬恒润提供了端到端的车、路、网、云、图全栈式自研解决方案,包含自动驾驶系统、路侧车路协同、基于5G网络的远程遥控驾驶、车队调度管理平台、数字孪生、仿真系统、高精地图等专业模块,组成了一套完整的智慧港口解决方案。本篇专门介绍其中的自动驾驶系统。  
    hirain 2023-06-09 11:29 189浏览
  • 增加电池寿命的秘诀 1.新买的电车要先充满几次吗?把电车电池完全充满这个操作,在专业上叫锂电池化成,是电车在出厂之前激活电池的一道工序,车主完全没必要这样做。《汽车大数据应用研究报告》里明确指出充放电深度是表征电池健康度的重要参数,充放电深度增加,释放电量变大,使电池的健康度衰减非常明显。所以在日常用车的时候我们尽量把电池的电量维持在20%~80%之间,这样能显著提升电池的使用寿命。1. 电池寿命会受温度影响吗?锂电池的理想工作温度为25摄氏度,工作温度过高或者过低都会引发电
    四川英特丽科技有限公司 2023-06-08 10:42 186浏览
  • 低温型产品概述:霍尔效应测试仪由电磁铁、电磁铁电源、高精度恒流源、高精度电压表、霍尔效应样品支架、标准样品、高低温杜瓦,控温仪,系统软件组成。为本仪器系统专门研制的JH10效应仪将恒流源,六位半微伏表及霍尔测量复杂的切换继电器——开关组装成一体,大大减化了实验的连线与操作。JH10可单独做恒流源、微伏表使用。用途:用于测量半导体材料的载流子浓度、迁移率、电阻率、霍尔系数等重要参数,而这些参数是了解半导体材料电学特性必须预先掌控的,因此霍尔效应测试系统是理解和研究半导体器件和半导体材料电学特性必*
    锦正茂科技 2023-06-09 13:16 138浏览
  • CS5466支持dsc1.1/12a压缩视频传输,是一款Type-C转HDMI8K30HZ或者4K144HZ方案芯片,Type-C/DP1.4转HDMI2.1的显示协议转换芯片, 内部集成了PD3.0及DSC decoder.CS5466电路原理图参考:CS5466芯片产品参数特性:1. Type-C/DP(2lanes)to HDMI2.1 8K30或者4K144产品。2. 支持HDMI2.1 FRL。3. 集成DSC1.2a decoder。4. DSC支持RGB, YCbCr4:4:4,
    QQ1540182856 2023-06-09 09:52 178浏览
  • 最近在使用串口读一些数据,但是总会出现些发、送之间的冲突问题,为了弄清楚问题的所在,于是产生了想法,做了一个日志保存。[code]void Widget::SaveLogTxt(QString dat ){ QDateTime currenttime = QDateTime::currentDateTime(); QString strDate = currenttime.toString("yyyy/MM/dd"); QString strTime = currenttime
    E_ARM 2023-06-09 10:31 176浏览
  • 前段时间出了接近一个月的差,没来得及及更新试用报告,有点不好意思,今天抽空过来写一下自己的看书的心得以及对于整个书籍的一些认知和看法,希望对大家能够有一定的帮助,也希望可以和大家一起探讨进步。以前自己都是使用的Altium Designer做开发设计的,大学的时候就开始接触,作为个人爱好延续至今,对于PADS也是有所耳闻,只是一直没有机会来了解,根据我个人的经验来看,按照以前使用Altium 的经验来说,PADS设计指南 无论说是从流程步骤上以及类容的细致程度上都还是很不错的,从设计流程、原理图
    君莫笑啊 2023-06-08 11:21 216浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦