广告

神经形态新秀连手催生结合处理器IP的图像感测单芯片

时间:2022-01-24 01:27:17 作者:Sally Ward-Foxton 阅读:
瑞士新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向图像传感器单芯片,结合Prophesee的Metavision 图像传感器和Synsense的DYNAP-CNN 神经形态处理器。
广告

总部位于瑞士的新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向(event-based)图像传感器单芯片,结合Prophesee的Metavision 图像传感器和Synsense的DYNAP-CNN 神经形态处理器。两家公司将会在该款传感器-处理器单芯片的设计、开发、制造和商品化等各方面进行,目标是实现小体积、平价的超低功耗处理器。

“我们不是传感器公司,我们是处理器公司;”SynSense全球业务暨算法/应用开发资深总监Dylan Muir接受《EE Times》访问时表示:“因为我们正在关注低功耗的传感器处理操作,发现我们的硬件若能距离传感器越近会越好;所以能与事件导向视觉传感器厂商合作,对我们来说很有意义。”

 

SynSense过去曾结合该公司的棘波神经网络(spiking neural network) IP以及来自另一家公司Inivation的动态视觉传感器,实现名为Speck的相机模块。

(图片来源:SynSense)

SynSense也和另一家事件导向图像传感器厂商Inivation合作,后者已经开发出一款名为Speck的128×128分辨率事件导向相机模块。Muri指出:“我们与Prophesee合作是为了朝更高分辨率像素数组方向发展。”

他指出,Prophesee先前曾与Sony合作,并在实现低光源敏感性方面具备优势;“以长期来看,我们希望能在设备中以尺寸非常小巧的模块进行高分辨率的视觉处理,这比把所有的东西都放大还来得复杂。”

较高分辨率的传感器数组会占据更多电路板空间,也需要更多的处理操作,所以处理器核心必然也要更大。Muir表示,高质量图像传感器对芯片的需求,与市场对数字逻辑芯片的小型化需求不一致,因此堆栈式架构或是背对背键合的多芯片解决方案,看来是最有可能的解决方式。

较高分辨率的传感器也会需要算法开发。Muir指出,目前较小的像素矩阵是透过单一卷积神经网络(CNN)来处理,较高分辨率意味着需要庞大的CNN;此外,一个图像可以被分割成一块块,由多个CNN平行处理,或者是只检视图像的某一个范围。

事件导向视觉传感器

像是Prophesee的事件导向图像传感器,其重点不在于图像而是帧(video frames)的变化;该技术是以人眼如何记录和解释视觉馈入为基础,能大幅减少数据产出量,这对于低光源情境来说更具效益,比起其他图像传感器,能够用更低的功耗来运作。

Prophesee的事件导向Metavision传感器,在每个像素中具备嵌入式的智能功能,能够让每个像素单独启动,进而触发一个事件。

SynSense提供低维度信号(音频、生物信号、振动监测)处理的混合信号处理器,耗电量低于500μW;不过该公司并未打算将该技术立即商业化,现有芯片上资源也不足以执行一个CNN,而这是视觉处理的必备条件。为此,SynSense开发了第二种为卷积神经网络量身打造的数字架构,该IP会整合到Prophesee传感器中。

转向一个完全异步数字架构,也意味着该设计需要转移至更高端制程,同时消耗更少功率。该处理器IP包括可支持CNN事件导向视觉的棘波(spiking)卷积核心,SynSense为棘波神经网络采用以倒传递(Back-propagation)为基础的训练。

Muir指出,这种方法能让时间信号(temporal signals)的处理速度,超越被转换于事件领域中执行的标准CNN。倒传递是透过在训练过程中近似棘波的导数(derivative)来实现的,而推论则是纯粹以棘波为基础。

SynSense的棘波神经元利用8位的突触权重(synaptic weights)整数逻辑、一个16位的神经元状态、一个16位的阈值(threshold),以及单一位的输入和输出棘波。神经元是最简单的”IF”(integrate and fire)模型──相较于更复杂的LIF (leaky integrate and fire)模型,该简单版模型在没有输入的时候,内部状态不会衰减,减少了运算的需求。

此外SynSense的神经元将8位数值与16位数值相加,然后将之与16位阈值相比较。Muir表示:”一开始让我们颇感惊讶的是,我们能够把神经元设计缩减到这么简单的程度,还能够让它表现非常好。”

SynSense的数字二进制异步神经元,是利用简单的”IF”(integrate and fire)设计。

(图片来源:SynSense)

SynSense的数字芯片是为CNN处理打造,且每个CNN层是由不同的处理器核心来处理的。核心的运作是异步且各自独立的,整个处理流程(pipeline)是事件导向。在系统监视互动意图的展示中(无论使用者是否看着这个设备),SynSense以小于100ms延迟来堆栈被处理的输入,而传感器和处理器消耗的动态功率低于5mW 。

SynSense的处理器核心已经历经几代的演进,而Speck传感器已经准备好支持实时图像处理应用程序的商业化,可提供像是智能手机与智能家庭设备使用;128×120分辨率的摄像机对短距离或室内应用来说相当足够的(诸如保全监控等户外应用会需要更高分辨率)。

SynSense成立于2017年,是从瑞士苏黎世(University of Zurich)独立出来的企业,目前有65名员工,分散于苏黎世的研发办公室、在中国成都的系统和产品工程基地,以及上海的IC设计团队。该公司最近结束了Pre-B 轮募资,投资者包括Westport Capital、张江集团、CET Hik、CMSK、Techtronics、Ventech China、CTC Capital与Yachang Investments 等(不过SynSense婉拒透露募资金额)。

目前已有事件导向视觉处理器的硬件开发工具组上市,可实现手势辨识、人员侦测(presence detection)与意图互动(intent to interaction)等智能家庭设备上的应用功能。而视觉处理器样本、音频与IMU开发工具组、Speck相机模块的开发工具组,则将于2022年底开始提供。

本文同步刊登于《电子工程专辑》杂志20221月刊

(参考原文:Neuromorphic Developers Partner to Integrate Sensor, Processor,By Sally Ward-Foxton)

 

责编:Amy.wu
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
  • 中国联通《2021 年度终端测评报告》公布5G旗舰芯片评 近日中国联通发布了一份《2021 年度终端测评报告》,其中报告第三部分《2021 年手机及芯片认证评测》的内容公布了2021年度5G手机的综合评测以及3款5G旗舰手机芯片综合评测......
  • 三星手机处理器换用AMD GPU以后,情况似乎...... 去年7月,AMD就已经宣布了RDNA 2架构的GPU会应用于三星的旗舰SoC之上。这在手机处理器上,无论如何都算是件大事。三星给这颗GPU取了新的名字叫做“Xclipse”(Xclipse 920),“X”表示的是Exynos,而后面的“eclipse”则代表移动游戏的旧时代终结……
  • AMD Zen4霄龙主板及处理器曝光:LGA 6096巨大脚座,支持12 日前,网上曝光了AMD Zen4架构霄龙7004处理器的配套主板谍照,从对应的主板设计我们可以看到硕大的SP5 LGA 6096插座、12条DDR5内存插槽。4月11日,网上又传出了Zen4霄龙处理器的外观,证实了此前的猜测……
  • 英特尔、美光及ADI加入 MITRE Engenuity 半导体联盟 该联盟呼吁行业中更多公司参与进来,以求建立一个全国性保护先进微电子研发、制造和供应链弹性知识产权的组织,为更具弹性的美国半导体行业制定联合研究与合作准则。
  • AMD拟19亿美元收购软件定义初创公司Pensando,发力数据 在完成其史上规模最大的交易——500亿美元收购赛灵思(Xilinx)不久后,AMD再度推进并购策略,宣布斥资约19亿美元收购私人持股的芯片和软件定义初创公司Pensando Systems Inc.。该公司的领导班子包括硅谷的几位传奇人物……
  • Chiplet符合目前国情:芯原戴伟民谈UCIe标准对中国半导 随着近年来先进工艺演进到了3nm、2nm,用提升晶体管密度来提高性能的做法遇到了瓶颈,摩尔定律开始放缓甚至停滞。Chiplet可以像拼接乐高积木一样,用封装技术将不同工艺的模块化芯片整合在一起,然而要实现更大范围内的应用需要标准化的裸片互联协议和接口标准。今年三月,国际芯片巨头们成立了专注Chiplet开放互联协议标准的UCIe联盟,中国厂商能否加入?
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 射频性能拉满,成本却降,乐鑫 ESP32- 小尺寸,低成本,为设备添加简单又稳定的无线连接功能
  • 贸泽电子备货Analog Devices CN053 贸泽电子备货Analog Devices CN0534 LNA接收器参考设计 , 助力5.8GHz ISM应用。该电路尺寸小巧,能提供高增益、可靠的过功率监测和保护功能,对于面临信号强度低或覆盖范围小的5.8 GHz ISM频段应用来说,这是一项附加优势。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了