2020年底,通过收购以色列3D视觉芯片设计领军企业Inuitive,银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下,至此开启了中以合作、双向反哺的创新模式。

“不像初创的初创公司,这是对银牛微电子最好的诠释。“

银牛微电子董事长兼CEO曲冠诚对《电子工程专辑》表示,2020年底,通过收购以色列3D视觉芯片设计领军企业Inuitive,银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下,至此开启了中以合作、双向反哺的创新模式。

银牛微电子董事长兼CEO曲冠诚

站在巨人的肩膀上

官方资料显示,Inuitive是世界上第一个在芯片内实现3D双目功能的公司,强大的3D engine可同时支持双目和结构光技术。不仅如此,Inuitive还是第一个能在芯片中同时实现3D engine + SLAM + AI功能的芯片设计公司,集计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等众多顶尖技术于一体。

Inuitive创始人Shlomo Gadot拥有38年半导体设计经验,属于连续成功创业者,曾是AT&T贝尔实验室资深专家,发明ADSL团队的核心成员。早在1998年,他就创立了专为第三代无线宽带电信开发可编程芯片的公司ModemART,后来在2005年被Agere收购;之后,他又创立了芯片设计公司Percello,于2010年被博通收购;而Inuitive则是他投入精力最多,时间最长,也是储备最丰富的一家企业。另一位联合创始人Dor Zepeniuk曾是PrimeSense公司(2013年被苹果以3.6亿美元收购)研发项目负责人,在3D芯片开发、SoC、单元计算等多个领域拥有丰富经验。

3D深度感知、SLAM实时定位与建图(Simultaneous Localization and Mapping, )和异步时间扭曲(Asynchronous Timewarp, ATW),是Inuitive的三大核心技术:

  • 3D深度感知技术,深度视觉引擎等专为3D感知功能设计的独特IP,它的性能功耗均比市场上的其他解决方案优异;
  • “SLAM实时定位与建图”技术,主要是在运动过程中通过传感器探测并建立环境的模型地图,同时估计自己的运动并定位;
  • 异步时间扭曲技术ATW, 能产生中间帧,从而有效减少画面的抖动,减少眩晕感。Inuitive将此部分功能以硬件实现的方式实现大幅度的降低延迟,从动作到画面的反应延迟小于1毫秒。

2020年11月17日,银牛微电子与Inuitive完成收购协议的工商变更,实现中国公司绝对控股。银牛微电子专为并购Inuitive而设立,通过一年的整合交流,银牛微电子已经将以色列优秀的芯片技术带到中国市场。

3D视觉与AI的完美融合

“3D机器视觉模组C158”是银牛微电子日前面向机器人行业重磅推出的全新产品。该模组基于银牛NU4000芯片设计,高度集成3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与强大的AI算力于一体,可为业界提供从实时3D感知、计算到系统一体化的解决方案。

Inuitive NU4000芯片

“近年来,在人工智能、机器人、物联网等产业快速发展的背景下,机器视觉对于三维深度感知能力的需求加大,传统的2D机器视觉正快速向3D机器视觉升级,这对目前处于行业爆发期的机器人行业来说更是如此。”银牛微电子联合创始人何火高表示,客户对3D机器视觉的需求是刚性的,非常切合公司的产品定位。

银牛微电子联合创始人兼副总裁何火高

相关数据显示,到2023年,仅中国机器视觉市场规模就将达到208.6亿元,其中3D视觉市场规模将达到34.28亿元,预计到2025年,这一数字将超过100亿元。

具体性能方面,得益于芯片强大的视觉处理系统,C158的深度分辨率可达1280 x 800 @60fps,感知距离从0.3m-6m,深度感知精度误差仅为1%,极大满足了对3D深度性能有高要求的应用。同时该产品拥有5-6TOPs的综合运算能力和灵活的配置,不但能有效地支撑从感知到运算的各种需求,还能减少主控芯片/系统的负担,提高实时性。

银牛3D机器视觉模组C158

考虑到AI运算对CNN网络架构的支持效果、DDR带宽的占用率、以及算法开发与部署是否容易一直是用户关注的重点,因此C158在面向视觉方向,内部支持Caffe框架,提供其他主流框架模型到Caffe框架模型的转换工作,并不断完善对各种模型及算法的支持以方便客户快速部署。

同时,由于目前AI主流框架众多,如Caffe、TensorFlow、ONNX等,基于各类框架的众多模型到嵌入式设备端的部署,都还面临易用及快速开发方面的难题。银牛后续会根据国内客户对SDK的使用习惯进行不断的优化,提供简单易用的工具,增加客户技术支持资源。

此外,该模组也是一款高度集成的产品,在其125mm x 40mm x 27mm的体积内,集成了3D深度、SLAM实时定位建图引擎、人工智能等功能,这使其支持120fps的2路摄像头以及6自由度坐标的重定位,能够实现实时高精度姿态跟踪。

在功耗方面,C158仅以0.5w即可实现5-6 TOPS算力,可轻松满足设备端功耗要求,内置的通用型ARM核支持系统的独立性,使系统可以同时兼顾协处理器和主控系统,为客户的设计提供极大的灵活性。不仅如此,C158还搭载的丰富接口和系统支持,使其无论是模组或外设皆可实现USB即插即用的效果。

下图左侧是深度视觉图,右侧是彩色图。在彩色图的左下角上,栏杆和门看上去是处于同一平面,但是从深度图可以看出,门和摄像头之间的距离近,所以红色较深;如果变成黄色、则表示栏杆跟摄像头之间的距离越来越远。真实场景中栏杆在门外一米以外。所以当机器人使用了3D深度视觉摄像头之后对环境的感知能力就非常直观,实时且能进行有效的判断。

为确保及时响应中国客户的需求,银牛还特意针对中国市场进行了调优,并承诺将根据中国客户需求实时调动以色列资源,为其提供高效、优质的本地化支持,以及多样化的选择。

在谈及“中国机器人市场和全球其他地区的市场需求有何不同”时?银牛微电子联合创始人兼首席战略官白逸指出,国内机器人的应用其实要比国外应用场景更广泛,更领先,有很多国外的产品在国内应用时需要在国内特定应用场景下进行不断优化,例如餐馆服务机器人,需要在狭窄的空间移动,对避障要求比较高。

银牛微电子联合创始人兼首席战略官白逸

因此,基于国内客户的需求,银牛在设计之初时就已经考虑系统集成的便捷性,高度集成NU4000 3个主要功能的C158模组通用性强,能方便、快速的集成到机器人上,更易于使用。

例如,C158高度集成机器人对避障、SLAM和更智能化应用方面的功能,单一模组更易于集成;内嵌的NU4000处理器包含通用ARM CPU,高性能VDSP,CNN加速引擎,方便客户定制算法的灵活移植。

总体而言,模组的好处是随着在个别市场的应用成熟,在某个市场通过量产、客户和市场的考验后,能够基于已有的完整的基础软件和开发环境继续完善。它可以用在任何一个市场的,一个市场需求成熟后,只需要快速迭代一个新的模组产品,就可以满足突然爆发的需求。

深耕3D机器视觉

目前,在3D深度技术中主要有三种技术方向:双目立体、结构光和飞行时间ToF。双目立体和结构光都应用了三角测距的原理,但双目主要依靠红外反射到摄像头上视差来计算对象物的深度数据,而结构光则是发射光源将带编码的光线发射出去,照到对象物再反射回来之后计算深度。相比之下,结构光容易受环境干扰,而双目立体则不容易受到室外光线的干扰,非常适合3D视觉并能够适应室内外的应用场景。

但是,3D机器视觉技术门槛高,涉及到光学、结构、散热等跨学科设计问题,再加上芯片、算法构成的复杂系统设计,需要一定的技术实力,投入足够的时间和人才,才可以研发相关方案。也就是说,技术门槛高、投入大、研发企业少,都是阻碍3D视觉快速普及的原因。

“我个人认为,如果我们把3D机器视觉作为一场演出,TOF、结构光只是暖场的,真正的主角和真正的演出将由双目主导,最终的解决方案发展到将来会是融合的方案。” 白逸说,即使是融合方案,也会有主有辅,而双目会是最主要的角色,比如配合结构光,或者是TOF,或者是激光测距等去做更完善的解决方案。

这就好比人类的眼睛,是感知世界最自然、最好的工具。所以银牛方面认为,未来,双目立体与AI的结合,就如同眼睛和大脑的组合,能够让整个机器能够更好地感知、理解以及执行任务。

白逸解释说,从技术角度来说,银牛芯片不但支持结构光,同样可以支持TOF技术,只不过从目前的市场需求来看,公司相信双目是更持久、更有生命力的技术,价值最大,所以并没有将有限的资源投入到结构光和TOF解决方案开发中去。但在长远规划中,银牛将推出支持所有主流3D感知技术的融合方案,以单芯片去支持系统模组,会是必然趋势。

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
机器人可以说是目前最炙手可热的话题,人形机器人和通用人工智能可以说是未来科技行业的制高点,也就在今年10月,工业和信息化部印发《人形机器人创新发展指导意见》,将人形机器人
一些OpenAI员工表示,本次事件的导火索在于公司内的核心矛盾——关于“AI安全”的分歧。强调组织非营利性的另一位联合创始人、董事会成员兼首席科学家伊利亚·萨斯克维尔(Ilya Sutskever)认为,奥特曼以潜在的安全问题为代价,将GPT商业化的速度太快了;奥特曼则非常强调组织营利性……
前段时间,大疆被传在美国被罚60亿美元,双方正在胶着僵持状态。然而,近日,大疆否认了此消息。
文件显示,这套行为准则共包含11项内容,旨在推广全球范围内的安全、可靠和值得信赖的人工智能,并将为开发最先进的人工智能系统的组织提供自愿行动指南,包括最先进的基础模型和生成性人工智能系统。
社交平台X(原推特)上出现的一段画面显示,在日前爆发的新一轮巴以冲突中,巴勒斯坦伊斯兰抵抗运动(哈马斯)使用了伊朗“燕子-2”(Ababil-2)型巡飞弹(自杀无人机)袭击以色列。“燕子-2”在军迷圈中俗称“伊朗小摩托”,是伊朗早年研发的一款巡飞弹……
中国AI产业通过多年的积累,都清楚知道他们自身的真正价值,就是让各行各业更轻松地组建、训练和部署AI。无论是华为“不写诗作画”的盘古,或是阿里腾讯的模型即服务(MaaS)……
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
作者:Jackie Gao,AMD工程师;来源:AMD开发者社区前言当FPGA开发者需要做RTL和C/C++联合仿真的时候,一些常用的方法包括使用MicroBlaze软核,或者使用QEMU仿真ZYNQ
注:各大公司财政年度的起始时间不同于自然年,因此会出现财政季度、年度等与自然年不一致的情况。软件微软(Microsoft)公布截至2023年9月30日的2024财年第一财季业绩。第一财季营收为565.
相信每个硬件工程师应该都用过DC-DC,那么分压反馈电阻的取值有没有想过呢?实际应用中大抵都是直接抄的手册中推荐的分压电阻阻值,就算没有正好对应输出电压的分压阻值,也一般是选择接近的电阻大小。但是,总
英伟达(Nvidia)CEO黄仁勋11日表示,将扩大与越南高科技业者的伙伴关系,支持在当地训练研发人工智能(AI)与数字化基础建设领域的人才。黄仁勋还透露在越南设立芯片中心的构想。根据白宫今年9月提升
自从集成电路发明以后,人类的电子信息技术开始腾飞,60年多年来,在摩尔定律的指导下,半导体集成电路的高速发展彻底改变了电子产品。以计算机为例,1946年诞生的世界第一台数字计算机重30吨,占地约140
请点击上方蓝色字体“权衡财经”进行关注,建立深度阅读关系!右上角“…”设为星标⭐文:权衡财经研究员 王心怡编:许辉id: iqhcj金属钨是一种稀缺和不可替代的战略性资源,属于高熔点、高比重、高硬度的
广告分割线12月11日,臻鼎科技集团与协成昌集团(Saha Group)达成了战略合作协议。当晚还举办了“2023庆祝战略合作签约暨鹏晟科技动土典礼晚宴”。本次战略合作协议的签订将进一步促进双方的合作
点击左上角“锂电联盟会长”,即可关注!有需要联系,王经理:18058289318相关阅读:锂离子电池制备材料/压力测试!锂电池自放电测量方法:静态与动态测量法!软包电池关键工艺问题!一文搞懂锂离子电池
点击左上角“锂电联盟会长”,即可关注!粉尘、水分和毛刺是锂离子电池生产过程中需要严格控制的关键因素。严格控制电池生产环境的粉尘对锂离子电池的安全和性能至关重要。生产环境粉尘控制不足会导致涂层表面产生大
 /记得星标我/比大部分人早一步看见未来乡村振兴,产业兴旺是重点。今年是加快建设农业强国的起步之年,在陕西,陕西移动依托自身信息技术优势,在电子商务、养殖业、农业等方面注智赋能,推动特色产业稳步发展,