广告

一颗AI视觉SoC是由哪几部分组成的?简析瓴盛JA310芯片

时间:2020-08-31 作者:黄烨锋 阅读:
即便资方令其话题性十足,瓴盛科技还是在去年9月正式入驻成都双流。上周,他们在成都举办了一场“2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会”,发布其首颗自主研发的芯片——AIoT SoC JLQ JA310,以及定位相对更低的JA308。借助这颗JLQ JA310芯片,我们可以去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成……
广告
ASPENCORE

作为一家在成立之初就颇具争议的企业,瓴盛科技上周在成都举办了一场“2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会”。瓴盛科技CEO肖小毛在会上说:“瓴盛科技在高通、大唐、智路资本、建广资产非常有远见有前瞻的视野下,在2018年经过商务部审批正式成立了,在2019年经过四川省政府、成都市政府的支持落地双流,同一年又成为发改委第二批重点合资企业之一,而且我们瓴盛是四川唯一的一家。”rKVEETC-电子工程专辑

这席话基本已经概括了其背景。即便资方令其话题性十足,这家公司还是在去年9月正式入驻成都双流的。rKVEETC-电子工程专辑

这次发布会主要发布的是JLQ JA310这颗AIoT SoC(以及定位相对更低的JA308)——瓴盛科技表示这是其首颗自主研发的芯片。我们恰好能够借助这颗JLQ JA310芯片,去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成,毕竟JA310在其中还是极具代表性的。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

重在AI视觉计算的芯片

先来看看这颗芯片整体配置与参数情况。瓴盛对于这颗芯片透露的细节是比较少的,我们可以结合当天发布会上,三星Foundry的主题演讲,来看看这颗芯片的大致构成。rKVEETC-电子工程专辑

JA310的基本参数如下表所示:rKVEETC-电子工程专辑

  • CPU:Arm Cortex-A55 @1.5GHz x4
  • ISP:单路4K@30fps;双路2K+2K@30fps
  • 视频编码:4K/1080p/720p @30fps
  • 视频解码:4K @30fps
  • 显示:1080p @60fps
  • NPU:2 TOPS(1152 INT8 MAC操作?)
  • 内存:支持DDR3/L/4/LP4(32bit)
  • 闪存:支持SPI NOR/NAND/eMMC
  • I/O:Ethernet(RGMII&RMII/MII)/I2S x5/USB2.0 x2/MIPI/LVDS/PWM/GPIO/UART/I2C/SPI/SDIO
  • 无线外设:适配主流Wi-Fi/4G/5G模组/其他外设完成BSP级别整合
  • 制造工艺:三星11LPP
  • 封装:15x15mm 493 Ball

另外一颗JA308配置上的主要差别在视频编码支持降至最高2K,ISP部分配置稍低,电池管理单元可能会有差异。其余组成部分是类似的。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

虽然缺了很关键的功耗数据(只是提到11nm工艺相比28nm工艺功耗降低70%),但看起来这仍是主要应用于视觉计算的典型AIoT SoC,尤其其中的ISP(影像处理单元)和视频编解码处理能力,而且还有专门的NPU单元——也就是AI处理单元。rKVEETC-电子工程专辑

现在市场上会将AI专核称作“NPU”的主要也就是华为、Arm和三星,瓴盛并未提及这里NPU的IP来源,我们猜测可能是Arm。(高通的AI引擎并没有构成一个专核;联发科则将AI专核称作APU;苹果的AI专核叫NE)rKVEETC-电子工程专辑

我们去年曾经撰文分析过Arm的NPU IP,NPU本质上是专用的CNN卷积神经网络(与RNN递归神经网络)处理单元,很大程度上也是为了提升视觉计算的效率存在的。所以JA310/JA308的定位还是一目了然的。rKVEETC-电子工程专辑

瓴盛在列举其应用场景时也提到了智能安防、机器视觉(机器人/工业相机/ADAS辅助驾驶)、人脸识别、视频直播、智能显示(智能交互终端);另外蜻蜓点水式地提到了对NLP自然语言处理的支持。我们在展厅现场看到了不少立体视觉(stereoscopy)解决方案,这类的确对算力有要求的视觉感知能力应用上,后文还会详述。rKVEETC-电子工程专辑

视觉与AI能力

有关这颗SoC,能探究的细节其实是很少的,毕竟官方给出的信息的确有限。我们尝试从有限的资料中,给出一些推测和信息量。rKVEETC-电子工程专辑

JA310的核心组成应该就是ISP、NPU与VPU(视频编解码)了。ISP部分前文已经提到,“双引擎”,支持双路2K+2K@30fps,或者单路4K@30fps的视频记录。瓴盛科技首席营销官成飞给出的PPT中,提到这颗ISP的一些功能,包括AWB(自动白平衡)、ANR(主动降噪)、3DNR(3D降噪,一种将空间与时间过滤器做结合的抑噪技术)、AI ROI(Region of Interest)、BLC(黑电平校正)、HDR等。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

这些其实都算是ISP pipeline上比较常见的特性,包括其中列举的视频宽动态范围处理;也是当代提供高保真影像数据,为视觉计算做服务的保障。三星应用于手机市场的Exynos以及高通骁龙SoC的ISP就基本都包含上述功能,也有“双引擎”的选择。或许在AIoT应用上,这样的ISP的确称得上是高规格。rKVEETC-电子工程专辑

将图像数据应用于AI算法,就要靠AI单元了。瓴盛称其为NPU,如前文所述,这可能是Arm的IP。市面上的某些AIoT芯片的产品实则没有AI专核,像高通这类厂商,更倾向于采用加强现有处理器(如为DSP加tensor核心),并结合GPU、CPU等单元做协同计算,而不是采用AI专核。rKVEETC-电子工程专辑

瓴盛在标称的数据上提到了这颗NPU的最高算力为2 TOPS。Arm现有的Ethos系列NPU产品中,虽然也有Int8算力达到2 TOP/s的一款:即Ethos-N57。不过Arm的NPU支持的数据类型普遍为Int8和Int16(而且MAC并行操作能力似乎也不大一样)。瓴盛JA310的NPU除了Int8和Int16外,似乎还支持FP16——看起来在影像处理能力上有更高的追求。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

海思的NPU应该是现在为数不多为FP16提供支持的AI专核。高通的AI引擎,在DSP层面也并未对FP16数据类型提供支持,FP16运算靠的是GPU;三星与Arm的NPU亦如是。不过成飞也提到了这颗SoC在AI算力上,通过NPU+CPU+GPU协同的方式进行——Arm NN框架就支持这种能力(虽然Arm NN其实也支持第三方NPU IP),这里的FP16也可能是GPU提供的能力。瓴盛在资料中并未给出JA310的GPU规格。rKVEETC-电子工程专辑

另外,对高层神经网络框架,如TensorFlow、ONNX、Caffe2等提供支持也算是当代AI开发环境的必然了。只不过这颗NPU的效率、功耗各方面数据均未知。其中的“系统/算法OTA升级”也算是当代具备弱编程特性的“通用型”AI处理器普遍具备的能力。rKVEETC-电子工程专辑

值得一提的是,成飞有特别提到CPU部分的四核Cortex-A55的ML能力有“6倍”提升,对比对象是Cortex-A53。A55有开始引入新的NEON指令,用于机器学习,这应该是其作为CPU部分的ML能力提升所在。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

VPU即视频编解码单元部分,着重于4K编解码、“高品质低延时”。成飞给出了JA310的4K HEVC(即H.265)编码质量,与其他友商产品在不同码率下的PSNR(峰值信噪比)比较(HM16测试模型)。成飞表示,其中橙色那条是“完美曲线”,“310在测试过程中,取得了最接近完美曲线的效果。”rKVEETC-电子工程专辑

以上这些都是JA310在AI视觉计算方面的努力,包括所谓的“专业安防级别ISP”、“高品质低延时VPU”、支持机器学习指令的四核CPU,以及专用NPU单元。从较少的参数信息来看,这应该是AIoT领域在图形处理能力上比较出色的一款SoC。rKVEETC-电子工程专辑

有关三星的11nm工艺

事实上,除性能之外,这样一颗AIoT芯片的功耗和效率也非常重要,不过瓴盛并未给出功耗方面的具体数据;只是在提芯片制造工艺时,略提了一嘴11nm相比28nm,功耗下降了70%。这里的11nm也就是三星的11LPP工艺。而JLQ JA310与三星的渊源也不只是芯片制造这么简单。rKVEETC-电子工程专辑

瓴盛科技CEO肖小毛在接受采访时说:“可能很多朋友关心我们为什么选择三星。我们做第一个产品是证明团队的能力,其次是为第二个产品打下基础。因为我们一些IP主要是在三星,内部供应商已经将其调到最优......工艺和IP捆绑很紧,当IP与工艺调整到最优时,强行切换(为台积电)的成本会比较大。”rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

JA310的12英寸晶圆rKVEETC-电子工程专辑

Samsung Foundry中国区销售总监李宁在会上提到,三星有个名为SAFE(Samsung Advanced Foundry Ecosystem)的生态。这是三星构建的、与合作伙伴合作的“一站式商店”解决方案,能够“把客户创意很快变成电子产品”;毕竟现如今的IP设计,已经和工艺存在越来越大的强关联了。整个生态内包含了诸多EDA、DSP、IP以及云合作伙伴。rKVEETC-电子工程专辑

成飞在介绍JA310时也提到了:“团队历时2年,刚刚说1年——其实是方案开发1年,前期芯片还有更漫长的路在走。”所以JA310是在1-2年间开发完成,与此同时“一次流片成功”。这个成绩可能与瓴盛科技本身的背景也有关,包括资方的合作关系,以及三星foundry的SAFE生态本身。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

从李宁展示的这张图来看,JA310产出的合作方至少包括了Arm、芯原、Synopsys、eSilicon、Alpha Holdings,应当都与IP相关。不仅包括了CPU、NPU、ISP等核心部件的IP,也包括连接相关的IP。肖小毛并未透露是否有IP是来自瓴盛科技本身,他只是提到:“我们做的是大型SoC,一方面把自己有特点的小IP做进去,另一方面也是集成一些先进IP,公用的IP做起来。”“有些IP不一定满足需求,所以我们会进行改良,改成我们想要的IP。将来我们在集成大的IP的情况下,我们一定会去做差异化,在关键IP上投入资源,这个是基本能力的体现。”rKVEETC-电子工程专辑

三星Foundry串起这些IP之后,自然在对应工艺的生产上做到了相对的高效。恰好借此机会,我们也可以稍微聊一聊三星的11nm工艺。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

从李宁提供的三星Foundry工艺路线图来看,11LPP工艺实则是14nm工艺的延续,比较类似于三星8LPP与10LPP的关系——有关三星8LPP,我们在先前的文章中也曾提到过,它实则更像是个10nm+工艺,与7LPP略有差距。rKVEETC-电子工程专辑

从三星自己公布的数据来看,11LPP相比14LPP的进化幅度似乎还是比较大的。三星早在2017年9月就宣布了11LPP工艺的存在性,2018年10月首颗采用11LPP的高通骁龙675问世。在2018年的Symposia on VLSI Technology and Circuits会议上曾详述过这个工艺节点。rKVEETC-电子工程专辑

11LPP在生产设备上主要采用14nm工艺时期的设备,另外配合10nm的BEOL(back end of line)互联,最终可以实现更高的晶体管密度。从Wikichip的分析文章来看,两者结合之后三星引入了一种新型的UHD(超高密度)标准单元库,主要面向低功耗应用。这种标准单元库高6.75T,相比14LPP标准单元的9T缩减25%(gate pitch也有差异)。如此一来,11LPP UHD单元在密度上可与10nm比肩,当然性能肯定是不及的。[1]rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

14LPP与11LPP的fin剖面(注意,左右两张图并非等比例),来源:Wikichip[1]rKVEETC-电子工程专辑

另外晶体管的fin部分,11LPP相比14LPP也更高、更窄——fin高度与宽度的缩减原本也是FinFET工艺进化的表现:更高的fin嵌入到gate(栅)的部分就越多,另外fin的这种变化也可更大程度降低,短沟道DIBL问题的影响。晶体管部分还有另外一些优化方案,如外延工艺等。从Wikichip的消息来看,三星11LPP另外还引入了一种新型的ULP超低功耗单元库(未知与UHD单元差异)。rKVEETC-电子工程专辑

简单来说,11LPP相比14LPP能够在相同面积内容纳更多晶体管,进一步提升频率,以及实现功耗的降低。三星最初的数据提到,在相同晶体管数量和功耗的前提下,相比14LPP提供至多15%的性能提升;相同晶体管数量,面积减少至多10%。看起来还是比10LPP与8LPP的递进关系更有诚意的。rKVEETC-电子工程专辑

另外,11LPP FEOL与14LPP在设计规则上也实现了兼容。三星和Arm都将11LPP作为汽车、IoT这类市场的长期节点对待。所以瓴盛的JA310选择11nm作为其生产工艺,也不失为一个比较明智的决定。这代工艺原本就是为成本敏感、功耗敏感的应用准备的。rKVEETC-电子工程专辑

生态与应用

实际上当代AIoT芯片的另一个核心在无线连接上,肖小毛在接受采访时也说:“未来边缘计算、AIoT重大方向就是无线连接。无线替代有线是未来的趋势,而5G+AI,AIoT就是我们比较大的布局,也是我们的方向。”rKVEETC-电子工程专辑

成飞也提到,“除了开放的趋势和第三方无线连接技术之外,还得到了产业股东的支持,让AI视觉从有线到无线无缝的跨越。所以合作伙伴,整个生态圈里的朋友,可以从瓴盛获得AI+WiFi,AI+5G一站式的服务。”rKVEETC-电子工程专辑

“AIoT市场,大家的产品大同小异。对我们来说,一方面我们用了先进的工艺,功耗表现更好;另一方面是要把连接加上——将连接能力加上,是我们跟其他友商相比最大的优势。未来我们把无线连接集成到芯片上,对于可靠性、功耗、成本还会有更大的改善。我们的重要优势就是把连接加进去。”肖小毛说。瓴盛科技的WiFi与5G连接技术出处应该是不言自明的,这可以认为是瓴盛的技术优势,包括未来将modem与RF系统集成进SoC的技术能力。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

无论其中是否具争议,这的确体现了瓴盛AIoT芯片的生态构建能力,包括软硬件两方面——针对JA310的无线外设,以及对存储系统的支持都是硬件生态。而在软件方面,“我们不仅是一家芯片公司,我们更是一个解决方案的提供商。这部分也是为了应对更加多样化和差异化的IoT应用。我们有选择性地打造行业解决方案,包括智能监控、机器人系列、视频会议系统。基于这些产品开发的新品,有效减少合作伙伴的开发人数,让产品的上市更快。”rKVEETC-电子工程专辑

这部分我们从采访展区的几个展商大致能体会。比如说专门做双目立体视觉的元橡科技,在瓴盛的生态中就扮演AI算法,以及更多软硬件方案供应商的角色。现场展示了元橡的多种双目视觉产品,如面向机器人的,面向车载领域的。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

元橡科技应用于不同领域的双目立体视觉产品rKVEETC-电子工程专辑

这是比较典型的面向具体应用场景的、“针对性”的解决方案。而除了这种针对性的解决方案,现场的好几名发言人都谈到了AI生态构建的协同合作,连同合作伙伴共同搭建“开放式的平台”。rKVEETC-电子工程专辑

在开发生态构建上,我们就在现场看到了Josh开发板,用Java语言开发做到开发过程的简化。这是开放式生态的一部分。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

Josh AI开发套装rKVEETC-电子工程专辑

成飞所说的开放式平台包含了4个层面:rKVEETC-电子工程专辑

  1. 软硬件解耦合,“让应用软件,基于软件模拟器并行开发,加速开发进程”;
  2. 可靠性和安全性,其中安全性表现在“让AI视觉应用,得到国密级的安全保障”;
  3. 丰富的生态,“从软硬件解耦合,到解决方案,积极导入应用软件,包括AI算法等,整合行业资源”;
  4. 可持续发展,“结合前面3点,引入更多的软件、算法,与合作伙伴之间通力合作,让瓴盛科技搭建的平台生根发芽”。

而在JA310的具体应用上,比较具有代表性的是银光软件面向学校的食品安全方案。通过AI视觉来监督学校食堂各方面的食品安全。比如说厨房工勤人员的穿戴分析:是否穿厨师服、做面食是否戴手套、日常是否戴口罩等;再比如明火预警、老鼠等病原体携带者预警、摔倒预警等;以及教师配餐抓拍,事物留样监管,杜绝粮食浪费等。rKVEETC-电子工程专辑

演示区展示了这套方案中的几个设备。其一是一台秤,专门用于“AI智能收货”。这台秤也加装了摄像头,通过AI视觉来识别过称的食材,并自动将食材入库。而后端给予AI算力的则是一台算法服务器。方案中另外还包括了用于食品安全检测的“AI黑匣子”,包含农残快速检测仪(AI小分子光谱对比,15分钟出结果)以及AI毒鼠强检测等。这套方案似乎也有应用5G连接方案。rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

银光软件的AI智能秤以及算法服务器rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

智能晨检仪,将手放入其中可检测手温、检查是否涂指甲油、是否有伤口,以及考勤等rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

安威士的智能安防rKVEETC-电子工程专辑

rKVEETC-电子工程专辑

博观的人脸门禁终端演示与人脸面板机模组rKVEETC-电子工程专辑

江苏乐众信息技术有限公司还将JA310应用到了卫星物联网、宽带卫星通信终端、C-V2X智能网联、宽带自组网终端、铁道专网终端等方案。上面这些应用及生态内的一众解决方案,都表明JA310这颗AIoT芯片的落地还是比较迅速的。rKVEETC-电子工程专辑

在此之外,“移动计算、手机平台跟AIoT同质化比较多,所以我们决定先做AIoT产品,把IP流程、工艺走完,把团队工程开发流程、团队能力建立起来。” 肖小毛表示,“在完成AIoT产品的研发以后,我们也早就启动了下一步移动产品的开发。细节现在不能透露。但是我希望明年或者后年,我们可以再坐在一起看看移动产品的情况。” 智能物联网和移动通信作为瓴盛科技的两个发力点,预计很快我们就能看到瓴盛科技推出的手机SoC了。rKVEETC-电子工程专辑

参考来源:rKVEETC-电子工程专辑

[1] VLSI 2018: Samsung’s 11nm nodelet, 11LPP – WikiChip FuserKVEETC-电子工程专辑

(https://fuse.wikichip.org/news/1425/vlsi-2018-samsungs-11nm-11lpp/)rKVEETC-电子工程专辑

责编:Luffy LiurKVEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 借硅谷数模的两款产品,谈当代TCON的技术特点 每个显示面板都需要有一个TCON,它将标准视频信号,转为显示面板需要的特定行、列驱动信号,并发给显示面板的DDIC(驱动IC)。显示面板需要通过不同的方式(LCD、OLED响应方式就不同)从光学上去响应前方传来的电荷——而这个电荷是需要不停刷新的,否则响应就会衰减。
  • 难过“两弹一星”?中国半导体面临的八大困境 经过半个多世纪的发展,半导体已经长成为一个巨人,1美元半导体产品可以撬动100美元GDP。
  • 5G,如何重塑数字化未来? 恰逢中国5G时代正式开启一周年之际,紫光展锐市场管理部副总裁黄宇宁在“2020年中国IC领袖峰会”上,发表了题为“5G如何重塑数字化未来”的主题演讲,可谓恰逢其时。
  • 任正非:华为没有996,国产高端芯片能力不足 5月11日,华为公共及政府事务部在华为心声社区发布了任正非接受《南华早报》的采访纪要,采访时间为 2020 年 3 月 24 日。采访中,任正非表示华为的“狼文化”可能是被外界曲解为绝对的服从、不计个人得失的集体主义、敢于牺牲一切的竞争思维,还有人将其更直观地解读为“加班文化”。其实“华为没有‘996’,更没有‘007’,最基层的员工想多加一点班也不行。”
  • 2019 IAIC中国芯应用创新设计大赛完美落幕 12月20日,2019中国芯应用创新高峰论坛暨IAIC颁奖典礼(简称“IAIC大赛”)在深圳会展中心盛大举行。本次活动以“用中国芯点亮未来”为主题,来自中国芯品牌企业、电子信息行业知名厂商、各大媒体及顶级投资机构的三百多名嘉宾共同见证了这场全国瞩目的创新创业盛事。至此,历时1年,吹响中国芯应用创新号角的IAIC大赛完美收官。
  • 寻找中国半导体产业的井冈山精神 2019年,是中国半导体产业史上最复杂的一年。贸易战和华为等中国企业接连被禁运的重大事件让所有中国产业人,从上到下,抛弃幻想,坚定不移地走自强之路。但与此同时,我们也不无担心地看到,尽管华为依然坚挺,但这并不意味着难关已过。再联想到外界对中国公司的种种刁难、贸易战的曲折艰辛,知耻后勇的我们也不免忧心忡忡。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了