广告

一颗AI视觉SoC是由哪几部分组成的?简析瓴盛JA310芯片

时间:2020-08-31 作者:黄烨锋 阅读:
即便资方令其话题性十足,瓴盛科技还是在去年9月正式入驻成都双流。上周,他们在成都举办了一场“2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会”,发布其首颗自主研发的芯片——AIoT SoC JLQ JA310,以及定位相对更低的JA308。借助这颗JLQ JA310芯片,我们可以去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成……
广告
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

作为一家在成立之初就颇具争议的企业,瓴盛科技上周在成都举办了一场“2020 AIoT生态峰会暨瓴盛‘芯视觉’产品发布会”。瓴盛科技CEO肖小毛在会上说:“瓴盛科技在高通、大唐、智路资本、建广资产非常有远见有前瞻的视野下,在2018年经过商务部审批正式成立了,在2019年经过四川省政府、成都市政府的支持落地双流,同一年又成为发改委第二批重点合资企业之一,而且我们瓴盛是四川唯一的一家。”

这席话基本已经概括了其背景。即便资方令其话题性十足,这家公司还是在去年9月正式入驻成都双流的。

这次发布会主要发布的是JLQ JA310这颗AIoT SoC(以及定位相对更低的JA308)——瓴盛科技表示这是其首颗自主研发的芯片。我们恰好能够借助这颗JLQ JA310芯片,去理解、明晰如今主流的AIoT芯片究竟具备哪些特点以及如何构成,毕竟JA310在其中还是极具代表性的。

重在AI视觉计算的芯片

先来看看这颗芯片整体配置与参数情况。瓴盛对于这颗芯片透露的细节是比较少的,我们可以结合当天发布会上,三星Foundry的主题演讲,来看看这颗芯片的大致构成。

JA310的基本参数如下表所示:

  • CPU:Arm Cortex-A55 @1.5GHz x4
  • ISP:单路4K@30fps;双路2K+2K@30fps
  • 视频编码:4K/1080p/720p @30fps
  • 视频解码:4K @30fps
  • 显示:1080p @60fps
  • NPU:2 TOPS(1152 INT8 MAC操作?)
  • 内存:支持DDR3/L/4/LP4(32bit)
  • 闪存:支持SPI NOR/NAND/eMMC
  • I/O:Ethernet(RGMII&RMII/MII)/I2S x5/USB2.0 x2/MIPI/LVDS/PWM/GPIO/UART/I2C/SPI/SDIO
  • 无线外设:适配主流Wi-Fi/4G/5G模组/其他外设完成BSP级别整合
  • 制造工艺:三星11LPP
  • 封装:15x15mm 493 Ball

另外一颗JA308配置上的主要差别在视频编码支持降至最高2K,ISP部分配置稍低,电池管理单元可能会有差异。其余组成部分是类似的。

虽然缺了很关键的功耗数据(只是提到11nm工艺相比28nm工艺功耗降低70%),但看起来这仍是主要应用于视觉计算的典型AIoT SoC,尤其其中的ISP(影像处理单元)和视频编解码处理能力,而且还有专门的NPU单元——也就是AI处理单元。

现在市场上会将AI专核称作“NPU”的主要也就是华为、Arm和三星,瓴盛并未提及这里NPU的IP来源,我们猜测可能是Arm。(高通的AI引擎并没有构成一个专核;联发科则将AI专核称作APU;苹果的AI专核叫NE)

我们去年曾经撰文分析过Arm的NPU IP,NPU本质上是专用的CNN卷积神经网络(与RNN递归神经网络)处理单元,很大程度上也是为了提升视觉计算的效率存在的。所以JA310/JA308的定位还是一目了然的。

瓴盛在列举其应用场景时也提到了智能安防、机器视觉(机器人/工业相机/ADAS辅助驾驶)、人脸识别、视频直播、智能显示(智能交互终端);另外蜻蜓点水式地提到了对NLP自然语言处理的支持。我们在展厅现场看到了不少立体视觉(stereoscopy)解决方案,这类的确对算力有要求的视觉感知能力应用上,后文还会详述。

视觉与AI能力

有关这颗SoC,能探究的细节其实是很少的,毕竟官方给出的信息的确有限。我们尝试从有限的资料中,给出一些推测和信息量。

JA310的核心组成应该就是ISP、NPU与VPU(视频编解码)了。ISP部分前文已经提到,“双引擎”,支持双路2K+2K@30fps,或者单路4K@30fps的视频记录。瓴盛科技首席营销官成飞给出的PPT中,提到这颗ISP的一些功能,包括AWB(自动白平衡)、ANR(主动降噪)、3DNR(3D降噪,一种将空间与时间过滤器做结合的抑噪技术)、AI ROI(Region of Interest)、BLC(黑电平校正)、HDR等。

这些其实都算是ISP pipeline上比较常见的特性,包括其中列举的视频宽动态范围处理;也是当代提供高保真影像数据,为视觉计算做服务的保障。三星应用于手机市场的Exynos以及高通骁龙SoC的ISP就基本都包含上述功能,也有“双引擎”的选择。或许在AIoT应用上,这样的ISP的确称得上是高规格。

将图像数据应用于AI算法,就要靠AI单元了。瓴盛称其为NPU,如前文所述,这可能是Arm的IP。市面上的某些AIoT芯片的产品实则没有AI专核,像高通这类厂商,更倾向于采用加强现有处理器(如为DSP加tensor核心),并结合GPU、CPU等单元做协同计算,而不是采用AI专核。

瓴盛在标称的数据上提到了这颗NPU的最高算力为2 TOPS。Arm现有的Ethos系列NPU产品中,虽然也有Int8算力达到2 TOP/s的一款:即Ethos-N57。不过Arm的NPU支持的数据类型普遍为Int8和Int16(而且MAC并行操作能力似乎也不大一样)。瓴盛JA310的NPU除了Int8和Int16外,似乎还支持FP16——看起来在影像处理能力上有更高的追求。

海思的NPU应该是现在为数不多为FP16提供支持的AI专核。高通的AI引擎,在DSP层面也并未对FP16数据类型提供支持,FP16运算靠的是GPU;三星与Arm的NPU亦如是。不过成飞也提到了这颗SoC在AI算力上,通过NPU+CPU+GPU协同的方式进行——Arm NN框架就支持这种能力(虽然Arm NN其实也支持第三方NPU IP),这里的FP16也可能是GPU提供的能力。瓴盛在资料中并未给出JA310的GPU规格。

另外,对高层神经网络框架,如TensorFlow、ONNX、Caffe2等提供支持也算是当代AI开发环境的必然了。只不过这颗NPU的效率、功耗各方面数据均未知。其中的“系统/算法OTA升级”也算是当代具备弱编程特性的“通用型”AI处理器普遍具备的能力。

值得一提的是,成飞有特别提到CPU部分的四核Cortex-A55的ML能力有“6倍”提升,对比对象是Cortex-A53。A55有开始引入新的NEON指令,用于机器学习,这应该是其作为CPU部分的ML能力提升所在。

VPU即视频编解码单元部分,着重于4K编解码、“高品质低延时”。成飞给出了JA310的4K HEVC(即H.265)编码质量,与其他友商产品在不同码率下的PSNR(峰值信噪比)比较(HM16测试模型)。成飞表示,其中橙色那条是“完美曲线”,“310在测试过程中,取得了最接近完美曲线的效果。”

以上这些都是JA310在AI视觉计算方面的努力,包括所谓的“专业安防级别ISP”、“高品质低延时VPU”、支持机器学习指令的四核CPU,以及专用NPU单元。从较少的参数信息来看,这应该是AIoT领域在图形处理能力上比较出色的一款SoC。

有关三星的11nm工艺

事实上,除性能之外,这样一颗AIoT芯片的功耗和效率也非常重要,不过瓴盛并未给出功耗方面的具体数据;只是在提芯片制造工艺时,略提了一嘴11nm相比28nm,功耗下降了70%。这里的11nm也就是三星的11LPP工艺。而JLQ JA310与三星的渊源也不只是芯片制造这么简单。

瓴盛科技CEO肖小毛在接受采访时说:“可能很多朋友关心我们为什么选择三星。我们做第一个产品是证明团队的能力,其次是为第二个产品打下基础。因为我们一些IP主要是在三星,内部供应商已经将其调到最优......工艺和IP捆绑很紧,当IP与工艺调整到最优时,强行切换(为台积电)的成本会比较大。”

JA310的12英寸晶圆

Samsung Foundry中国区销售总监李宁在会上提到,三星有个名为SAFE(Samsung Advanced Foundry Ecosystem)的生态。这是三星构建的、与合作伙伴合作的“一站式商店”解决方案,能够“把客户创意很快变成电子产品”;毕竟现如今的IP设计,已经和工艺存在越来越大的强关联了。整个生态内包含了诸多EDA、DSP、IP以及云合作伙伴。

成飞在介绍JA310时也提到了:“团队历时2年,刚刚说1年——其实是方案开发1年,前期芯片还有更漫长的路在走。”所以JA310是在1-2年间开发完成,与此同时“一次流片成功”。这个成绩可能与瓴盛科技本身的背景也有关,包括资方的合作关系,以及三星foundry的SAFE生态本身。

从李宁展示的这张图来看,JA310产出的合作方至少包括了Arm、芯原、Synopsys、eSilicon、Alpha Holdings,应当都与IP相关。不仅包括了CPU、NPU、ISP等核心部件的IP,也包括连接相关的IP。肖小毛并未透露是否有IP是来自瓴盛科技本身,他只是提到:“我们做的是大型SoC,一方面把自己有特点的小IP做进去,另一方面也是集成一些先进IP,公用的IP做起来。”“有些IP不一定满足需求,所以我们会进行改良,改成我们想要的IP。将来我们在集成大的IP的情况下,我们一定会去做差异化,在关键IP上投入资源,这个是基本能力的体现。”

三星Foundry串起这些IP之后,自然在对应工艺的生产上做到了相对的高效。恰好借此机会,我们也可以稍微聊一聊三星的11nm工艺。

从李宁提供的三星Foundry工艺路线图来看,11LPP工艺实则是14nm工艺的延续,比较类似于三星8LPP与10LPP的关系——有关三星8LPP,我们在先前的文章中也曾提到过,它实则更像是个10nm+工艺,与7LPP略有差距。

从三星自己公布的数据来看,11LPP相比14LPP的进化幅度似乎还是比较大的。三星早在2017年9月就宣布了11LPP工艺的存在性,2018年10月首颗采用11LPP的高通骁龙675问世。在2018年的Symposia on VLSI Technology and Circuits会议上曾详述过这个工艺节点。

11LPP在生产设备上主要采用14nm工艺时期的设备,另外配合10nm的BEOL(back end of line)互联,最终可以实现更高的晶体管密度。从Wikichip的分析文章来看,两者结合之后三星引入了一种新型的UHD(超高密度)标准单元库,主要面向低功耗应用。这种标准单元库高6.75T,相比14LPP标准单元的9T缩减25%(gate pitch也有差异)。如此一来,11LPP UHD单元在密度上可与10nm比肩,当然性能肯定是不及的。[1]

14LPP与11LPP的fin剖面(注意,左右两张图并非等比例),来源:Wikichip[1]

另外晶体管的fin部分,11LPP相比14LPP也更高、更窄——fin高度与宽度的缩减原本也是FinFET工艺进化的表现:更高的fin嵌入到gate(栅)的部分就越多,另外fin的这种变化也可更大程度降低,短沟道DIBL问题的影响。晶体管部分还有另外一些优化方案,如外延工艺等。从Wikichip的消息来看,三星11LPP另外还引入了一种新型的ULP超低功耗单元库(未知与UHD单元差异)。

简单来说,11LPP相比14LPP能够在相同面积内容纳更多晶体管,进一步提升频率,以及实现功耗的降低。三星最初的数据提到,在相同晶体管数量和功耗的前提下,相比14LPP提供至多15%的性能提升;相同晶体管数量,面积减少至多10%。看起来还是比10LPP与8LPP的递进关系更有诚意的。

另外,11LPP FEOL与14LPP在设计规则上也实现了兼容。三星和Arm都将11LPP作为汽车、IoT这类市场的长期节点对待。所以瓴盛的JA310选择11nm作为其生产工艺,也不失为一个比较明智的决定。这代工艺原本就是为成本敏感、功耗敏感的应用准备的。

生态与应用

实际上当代AIoT芯片的另一个核心在无线连接上,肖小毛在接受采访时也说:“未来边缘计算、AIoT重大方向就是无线连接。无线替代有线是未来的趋势,而5G+AI,AIoT就是我们比较大的布局,也是我们的方向。”

成飞也提到,“除了开放的趋势和第三方无线连接技术之外,还得到了产业股东的支持,让AI视觉从有线到无线无缝的跨越。所以合作伙伴,整个生态圈里的朋友,可以从瓴盛获得AI+WiFi,AI+5G一站式的服务。”

“AIoT市场,大家的产品大同小异。对我们来说,一方面我们用了先进的工艺,功耗表现更好;另一方面是要把连接加上——将连接能力加上,是我们跟其他友商相比最大的优势。未来我们把无线连接集成到芯片上,对于可靠性、功耗、成本还会有更大的改善。我们的重要优势就是把连接加进去。”肖小毛说。瓴盛科技的WiFi与5G连接技术出处应该是不言自明的,这可以认为是瓴盛的技术优势,包括未来将modem与RF系统集成进SoC的技术能力。

无论其中是否具争议,这的确体现了瓴盛AIoT芯片的生态构建能力,包括软硬件两方面——针对JA310的无线外设,以及对存储系统的支持都是硬件生态。而在软件方面,“我们不仅是一家芯片公司,我们更是一个解决方案的提供商。这部分也是为了应对更加多样化和差异化的IoT应用。我们有选择性地打造行业解决方案,包括智能监控、机器人系列、视频会议系统。基于这些产品开发的新品,有效减少合作伙伴的开发人数,让产品的上市更快。”

这部分我们从采访展区的几个展商大致能体会。比如说专门做双目立体视觉的元橡科技,在瓴盛的生态中就扮演AI算法,以及更多软硬件方案供应商的角色。现场展示了元橡的多种双目视觉产品,如面向机器人的,面向车载领域的。

元橡科技应用于不同领域的双目立体视觉产品

这是比较典型的面向具体应用场景的、“针对性”的解决方案。而除了这种针对性的解决方案,现场的好几名发言人都谈到了AI生态构建的协同合作,连同合作伙伴共同搭建“开放式的平台”。

在开发生态构建上,我们就在现场看到了Josh开发板,用Java语言开发做到开发过程的简化。这是开放式生态的一部分。

Josh AI开发套装

成飞所说的开放式平台包含了4个层面:

  1. 软硬件解耦合,“让应用软件,基于软件模拟器并行开发,加速开发进程”;
  2. 可靠性和安全性,其中安全性表现在“让AI视觉应用,得到国密级的安全保障”;
  3. 丰富的生态,“从软硬件解耦合,到解决方案,积极导入应用软件,包括AI算法等,整合行业资源”;
  4. 可持续发展,“结合前面3点,引入更多的软件、算法,与合作伙伴之间通力合作,让瓴盛科技搭建的平台生根发芽”。

而在JA310的具体应用上,比较具有代表性的是银光软件面向学校的食品安全方案。通过AI视觉来监督学校食堂各方面的食品安全。比如说厨房工勤人员的穿戴分析:是否穿厨师服、做面食是否戴手套、日常是否戴口罩等;再比如明火预警、老鼠等病原体携带者预警、摔倒预警等;以及教师配餐抓拍,事物留样监管,杜绝粮食浪费等。

演示区展示了这套方案中的几个设备。其一是一台秤,专门用于“AI智能收货”。这台秤也加装了摄像头,通过AI视觉来识别过称的食材,并自动将食材入库。而后端给予AI算力的则是一台算法服务器。方案中另外还包括了用于食品安全检测的“AI黑匣子”,包含农残快速检测仪(AI小分子光谱对比,15分钟出结果)以及AI毒鼠强检测等。这套方案似乎也有应用5G连接方案。

银光软件的AI智能秤以及算法服务器

智能晨检仪,将手放入其中可检测手温、检查是否涂指甲油、是否有伤口,以及考勤等

安威士的智能安防

博观的人脸门禁终端演示与人脸面板机模组

江苏乐众信息技术有限公司还将JA310应用到了卫星物联网、宽带卫星通信终端、C-V2X智能网联、宽带自组网终端、铁道专网终端等方案。上面这些应用及生态内的一众解决方案,都表明JA310这颗AIoT芯片的落地还是比较迅速的。

在此之外,“移动计算、手机平台跟AIoT同质化比较多,所以我们决定先做AIoT产品,把IP流程、工艺走完,把团队工程开发流程、团队能力建立起来。” 肖小毛表示,“在完成AIoT产品的研发以后,我们也早就启动了下一步移动产品的开发。细节现在不能透露。但是我希望明年或者后年,我们可以再坐在一起看看移动产品的情况。” 智能物联网和移动通信作为瓴盛科技的两个发力点,预计很快我们就能看到瓴盛科技推出的手机SoC了。

参考来源:

[1] VLSI 2018: Samsung’s 11nm nodelet, 11LPP – WikiChip Fuse

(https://fuse.wikichip.org/news/1425/vlsi-2018-samsungs-11nm-11lpp/)

责编:Luffy Liu

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 亿智电子获2021年度中国IC设计成就奖“人工智能杰出市 亿智电子是以AI机器视觉算法和SoC芯片设计为核心的系统方案供应商,致力于视像安防、汽车电子、智能硬件领域的AI赋能。凭借其优秀的技术产品化和商业化落地能力,亿智电子获评“人工智能杰出市场表现奖”。
  • 磨砺以须 倍道而进 | 峰岹科技斩获2021中国IC设计成就 2021中国IC设计成就奖颁奖典礼3月18日在上海凯宾斯基酒店成功举办,峰岹科技斩获2021中国IC 设计成就奖之“年度中国潜力 IC 设计公司”及“年度中国优秀IC设计团队”两项殊荣。
  • 解读“中国IC设计100家排行榜” ASPENCORE在2021年中国IC领袖峰会上发布“中国IC设计100家排行榜”,向中国半导体业界人士展示了100家最优秀的IC设计公司。我们将上榜的企业分为10个类别,从每个类别的约30家公司中挑选Top 10,最终形成“中国IC设计100家排行榜”。
  • 40家国产传感器芯片厂商调查统计报告 Aspencore《电子工程专辑》分析师团队对中国本土的传感器芯片厂商进行了第一手调查和网络汇编整理,从众多公司中挑选40家,分别从核心技术、代表产品、应用方案和目标市场等多个维度进行了分析。
  • 30家国产数字芯片(CPU/FPGA/存储)厂商调研报告 在中高端CPU、GPU、DSP和FPGA等复杂的高性能数字芯片领域,中国本土IC设计厂商还刚刚起步,在技术实力和行业应用方面离国际巨头还相距甚远。本文我们将从核心技术、主要产品、目标市场和应用方案等方面对30家本土IC设计公司逐一展示。
  • 20家国产模拟/混合信号芯片厂商调研报告 从过去30年的发展趋势看,全球模拟芯片市场越来越集中在少数几家巨头手中。2019年,全球前10大模拟芯片厂商占据了62%的市场份额,其中TI一家就占据19%。Aspencore《电子工程专辑》分析师团队对中国本土的模拟和混合信号芯片设计公司进行了第一手调查和网络汇编整理,从众多公司中挑选20家(已经在《30家国产电源管理芯片厂商报告》中收录的没有包括在内),分别从核心技术、主要产品、应用方案和目标市场等多个维度进行了分析。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  •  Cirrus Logic宣布同意收购Lion S Cirrus Logic近日宣布已达成协议,以3.35亿美元现金收购位于美国加利福尼亚的Lion Semiconductor。此次收购为智能手机、笔记本电脑和其他设备的电源应用带来了独特的知识产权和产品,并加速了公司高性能混合信号业务的增长。预计 Lion Semiconductor将立即增加 GAAP 和非 GAAP 每股收益,从交易完成到 2022 财年结束之间贡献约 6000 万美元的收入。
  • 2021国产IP和定制芯片生态大会成功 7月6日,2021国产IP和定制芯片生态大会在上海盛大召开,本次大会由中国高端IP和芯片定制企业芯动科技主办,是国内首个聚焦IP技术和产品合作的行业生态大会,适应了产业链上下游对合作共赢的企盼,有力助推国产自主化风口……
  • 开关电源电路中输入电容的选型 我们了解了电容器的特性取决于材料及外壳的不同。下面请介绍一下在实际用于开关电源电路时,其特性和性质具体会带来什么样的影响。在开关电源电路中需要有输入电容器与输出电容器,它们各自处理的电压与电流的性质是
  • 晶体管发明与诞生及发展历程详解 1947年12月23日,第一个基于锗半导体的具有放大功能的点接触式晶体管面世,标志着现代半导体产业的诞生和信息时代正式开启。点接触式晶体管:把间距为50 μm的两个金电极压在锗半导体上,微小的电信号由
  • 【行业资讯】本川智能:创业板注册生效;高盛达线路板项目封顶 一、本川智能:创业板拟上市审核状态7月2日变更为"注册生效"。(King供稿)二、江西高盛达光电技术有限公司的TCL高盛达线路板生产项目:①. 项目进度:厂房主体已顺利封顶,正在一层封砖;②. 建设目
  • 软银的全球移动机器人版图 从工业到商用,国内外移动机器人企业备受软银关注;停产Pepper,出售波士顿动力,软银缩减商业化能力弱的机器人业务。 文|张蔓今年5月,软银领投了优艾智合新一轮近亿人民币融资,但这也只是软银
  • 一个“言语粗俗”的李想,如何撑起理想的高端化? 不利于理想汽车高端化发展的定位。文 | 李平来源 | 砺石商业评论“造谣我们用水银的人和媒体,祝愿你们血液里流动着水银,脑子里装满了水银!” 一场突如其来的“水银门”事件,再次让理想汽车与其
  • MLCC电容啸叫的4个对策 首先,请讲解一下啸叫的机理。高介电常数的陶瓷电容器具有给电介质施加电压时,电介质变形(失真)的特性。这是压电效应的相反现象,被称为“逆压电效应”。此外,有时也将具有这种特性表达为“压电性”或“逆压电性
  • 美股盘前全知道|大摩称美债收益率抬头或将重挫科技股,高盛称黄金将涨至2000美元 美股盘前全知道机构怎么看美股大摩:互联网泡沫现象重演,美债收益率抬头将重挫科技股据报道,摩根士丹利称,科技股与美债收益率近期的相关性与过去20年相背离,未来一旦美债收益率抬头,将对科技股估值产生重创。
  • 【直播预告】Dialog ZVS方案助您以低BOM成本将100W+充电器缩小多达50% 亲爱的朋友们,Dialog半导体公司将于7月13日(周二)上午10:00-11:00举办线上研讨会,向您介绍Dialog独特的AC/DC零电压开关(ZVS)解决方案,以及该方案如何帮助您以极低的BOM
  • 零售券商之王:零佣金的罗宾侠的400亿美金 罗宾侠并没有试图成为嘉信理财(Charles Schwab),而是想要成为"下一代的"嘉信理财来源 | 新全球资产配置文 | 徐杨字数 | 约6500     
  • 苹果、脸书入局泡沫市场,元宇宙是AR/VR的救星吗? 苹果六年憋不出个产品,Facebook卖一台亏一台,就这还能一年融资224亿的市场,别再让人失望了啊喂!来源:硅兔赛跑(ID: sv_race)作者|Eric编辑 | 梓 首图来源:网络在经
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了