广告

并购以色列3D视觉芯片公司,银牛强势登陆中国市场

时间:2021-12-14 10:26:32 作者:邵乐峰 阅读:
2020年底,通过收购以色列3D视觉芯片设计领军企业Inuitive,银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下,至此开启了中以合作、双向反哺的创新模式。
广告

“不像初创的初创公司,这是对银牛微电子最好的诠释。“

银牛微电子董事长兼CEO曲冠诚对《电子工程专辑》表示,2020年底,通过收购以色列3D视觉芯片设计领军企业Inuitive,银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下,至此开启了中以合作、双向反哺的创新模式。

银牛微电子董事长兼CEO曲冠诚

站在巨人的肩膀上

官方资料显示,Inuitive是世界上第一个在芯片内实现3D双目功能的公司,强大的3D engine可同时支持双目和结构光技术。不仅如此,Inuitive还是第一个能在芯片中同时实现3D engine + SLAM + AI功能的芯片设计公司,集计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等众多顶尖技术于一体。

Inuitive创始人Shlomo Gadot拥有38年半导体设计经验,属于连续成功创业者,曾是AT&T贝尔实验室资深专家,发明ADSL团队的核心成员。早在1998年,他就创立了专为第三代无线宽带电信开发可编程芯片的公司ModemART,后来在2005年被Agere收购;之后,他又创立了芯片设计公司Percello,于2010年被博通收购;而Inuitive则是他投入精力最多,时间最长,也是储备最丰富的一家企业。另一位联合创始人Dor Zepeniuk曾是PrimeSense公司(2013年被苹果以3.6亿美元收购)研发项目负责人,在3D芯片开发、SoC、单元计算等多个领域拥有丰富经验。

3D深度感知、SLAM实时定位与建图(Simultaneous Localization and Mapping, )和异步时间扭曲(Asynchronous Timewarp, ATW),是Inuitive的三大核心技术:

  • 3D深度感知技术,深度视觉引擎等专为3D感知功能设计的独特IP,它的性能功耗均比市场上的其他解决方案优异;
  • “SLAM实时定位与建图”技术,主要是在运动过程中通过传感器探测并建立环境的模型地图,同时估计自己的运动并定位;
  • 异步时间扭曲技术ATW, 能产生中间帧,从而有效减少画面的抖动,减少眩晕感。Inuitive将此部分功能以硬件实现的方式实现大幅度的降低延迟,从动作到画面的反应延迟小于1毫秒。

2020年11月17日,银牛微电子与Inuitive完成收购协议的工商变更,实现中国公司绝对控股。银牛微电子专为并购Inuitive而设立,通过一年的整合交流,银牛微电子已经将以色列优秀的芯片技术带到中国市场。

3D视觉与AI的完美融合

“3D机器视觉模组C158”是银牛微电子日前面向机器人行业重磅推出的全新产品。该模组基于银牛NU4000芯片设计,高度集成3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与强大的AI算力于一体,可为业界提供从实时3D感知、计算到系统一体化的解决方案。

Inuitive NU4000芯片

“近年来,在人工智能、机器人、物联网等产业快速发展的背景下,机器视觉对于三维深度感知能力的需求加大,传统的2D机器视觉正快速向3D机器视觉升级,这对目前处于行业爆发期的机器人行业来说更是如此。”银牛微电子联合创始人何火高表示,客户对3D机器视觉的需求是刚性的,非常切合公司的产品定位。

银牛微电子联合创始人兼副总裁何火高

相关数据显示,到2023年,仅中国机器视觉市场规模就将达到208.6亿元,其中3D视觉市场规模将达到34.28亿元,预计到2025年,这一数字将超过100亿元。

具体性能方面,得益于芯片强大的视觉处理系统,C158的深度分辨率可达1280 x 800 @60fps,感知距离从0.3m-6m,深度感知精度误差仅为1%,极大满足了对3D深度性能有高要求的应用。同时该产品拥有5-6TOPs的综合运算能力和灵活的配置,不但能有效地支撑从感知到运算的各种需求,还能减少主控芯片/系统的负担,提高实时性。

银牛3D机器视觉模组C158

考虑到AI运算对CNN网络架构的支持效果、DDR带宽的占用率、以及算法开发与部署是否容易一直是用户关注的重点,因此C158在面向视觉方向,内部支持Caffe框架,提供其他主流框架模型到Caffe框架模型的转换工作,并不断完善对各种模型及算法的支持以方便客户快速部署。

同时,由于目前AI主流框架众多,如Caffe、TensorFlow、ONNX等,基于各类框架的众多模型到嵌入式设备端的部署,都还面临易用及快速开发方面的难题。银牛后续会根据国内客户对SDK的使用习惯进行不断的优化,提供简单易用的工具,增加客户技术支持资源。

此外,该模组也是一款高度集成的产品,在其125mm x 40mm x 27mm的体积内,集成了3D深度、SLAM实时定位建图引擎、人工智能等功能,这使其支持120fps的2路摄像头以及6自由度坐标的重定位,能够实现实时高精度姿态跟踪。

在功耗方面,C158仅以0.5w即可实现5-6 TOPS算力,可轻松满足设备端功耗要求,内置的通用型ARM核支持系统的独立性,使系统可以同时兼顾协处理器和主控系统,为客户的设计提供极大的灵活性。不仅如此,C158还搭载的丰富接口和系统支持,使其无论是模组或外设皆可实现USB即插即用的效果。

下图左侧是深度视觉图,右侧是彩色图。在彩色图的左下角上,栏杆和门看上去是处于同一平面,但是从深度图可以看出,门和摄像头之间的距离近,所以红色较深;如果变成黄色、则表示栏杆跟摄像头之间的距离越来越远。真实场景中栏杆在门外一米以外。所以当机器人使用了3D深度视觉摄像头之后对环境的感知能力就非常直观,实时且能进行有效的判断。

为确保及时响应中国客户的需求,银牛还特意针对中国市场进行了调优,并承诺将根据中国客户需求实时调动以色列资源,为其提供高效、优质的本地化支持,以及多样化的选择。

在谈及“中国机器人市场和全球其他地区的市场需求有何不同”时?银牛微电子联合创始人兼首席战略官白逸指出,国内机器人的应用其实要比国外应用场景更广泛,更领先,有很多国外的产品在国内应用时需要在国内特定应用场景下进行不断优化,例如餐馆服务机器人,需要在狭窄的空间移动,对避障要求比较高。

银牛微电子联合创始人兼首席战略官白逸

因此,基于国内客户的需求,银牛在设计之初时就已经考虑系统集成的便捷性,高度集成NU4000 3个主要功能的C158模组通用性强,能方便、快速的集成到机器人上,更易于使用。

例如,C158高度集成机器人对避障、SLAM和更智能化应用方面的功能,单一模组更易于集成;内嵌的NU4000处理器包含通用ARM CPU,高性能VDSP,CNN加速引擎,方便客户定制算法的灵活移植。

总体而言,模组的好处是随着在个别市场的应用成熟,在某个市场通过量产、客户和市场的考验后,能够基于已有的完整的基础软件和开发环境继续完善。它可以用在任何一个市场的,一个市场需求成熟后,只需要快速迭代一个新的模组产品,就可以满足突然爆发的需求。

深耕3D机器视觉

目前,在3D深度技术中主要有三种技术方向:双目立体、结构光和飞行时间ToF。双目立体和结构光都应用了三角测距的原理,但双目主要依靠红外反射到摄像头上视差来计算对象物的深度数据,而结构光则是发射光源将带编码的光线发射出去,照到对象物再反射回来之后计算深度。相比之下,结构光容易受环境干扰,而双目立体则不容易受到室外光线的干扰,非常适合3D视觉并能够适应室内外的应用场景。

但是,3D机器视觉技术门槛高,涉及到光学、结构、散热等跨学科设计问题,再加上芯片、算法构成的复杂系统设计,需要一定的技术实力,投入足够的时间和人才,才可以研发相关方案。也就是说,技术门槛高、投入大、研发企业少,都是阻碍3D视觉快速普及的原因。

“我个人认为,如果我们把3D机器视觉作为一场演出,TOF、结构光只是暖场的,真正的主角和真正的演出将由双目主导,最终的解决方案发展到将来会是融合的方案。” 白逸说,即使是融合方案,也会有主有辅,而双目会是最主要的角色,比如配合结构光,或者是TOF,或者是激光测距等去做更完善的解决方案。

这就好比人类的眼睛,是感知世界最自然、最好的工具。所以银牛方面认为,未来,双目立体与AI的结合,就如同眼睛和大脑的组合,能够让整个机器能够更好地感知、理解以及执行任务。

白逸解释说,从技术角度来说,银牛芯片不但支持结构光,同样可以支持TOF技术,只不过从目前的市场需求来看,公司相信双目是更持久、更有生命力的技术,价值最大,所以并没有将有限的资源投入到结构光和TOF解决方案开发中去。但在长远规划中,银牛将推出支持所有主流3D感知技术的融合方案,以单芯片去支持系统模组,会是必然趋势。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
邵乐峰
ASPENCORE 中国区首席分析师。
  • 思特威2021 CPSE同期发布多款新品,成立汽车芯片部及工 思特威(SmartSens)在第18届国际社会公共安全博览会(CPSE)现场举行了2021新品发布会,思宣布新晋成立汽车芯片部及工业和新兴传感器部,意在进一步拓展车载、工业及专业级机器视觉市场。而后,安防、车载、工业和新兴传感器三大芯片部负责人也分别发布新品,为安防、车载电子以及工业&机器视觉客户量身打造智视解决方案……
  • 特斯拉人形机器人Tesla Bot将在2022年拥有类人性格 2021年8月,特斯拉发布了人形机器人Tesla Bot,四个多月过去了,现在,马斯克宣布,将在2022年使Tesla Bot拥有人一样的性格。
  • 达摩院发布2022十大科技趋势:硅光芯片突破摩尔定律,AI技 12月28日,阿里巴巴达摩院发布2022十大科技趋势,包括AI for Science、大小模型协同进化、硅光芯片、绿色能源AI、柔性感知机器人等。这是达摩院连续第四年发布前沿科技趋势预测。
  • 机器人已经会用“大脑”进行自我训练,但训练数据从哪儿 对于现在比较流行的“以数据为中心”的ML方法来说,开发模型其实就是不停迭代(iterate):工程师对完成训练的模型进行评估,并确定数据集的改进;然后生成新的数据集,再进行新的训练。如此迭代往复,直到模型性能达到要求。这其中数据的产生,自然是相当关键的组成部分。
  • 什么是工业元宇宙?数字孪生或是其雏形技术 观察智能制造主流多元工具中,被诸多大厂视为工业4.0应用重点的“数字孪生”,能以数字资料模拟物理世界,桥接虚实的特性与效益,使其成为打造元宇宙雏形的关键技术。
  • 元宇宙实现之前,有哪些工作要做? 英伟达的元宇宙叫Omniverse。我们从本周英伟达GTC大会上听到了有关元宇宙的、几个很有意思的说法。Omniverse平台副总裁Richard Kerris在接受采访时说:“早年万维网刚刚出现的时候,大家也都会想:我的业务真的需要web吗?web上面能干什么?”
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • Qorvo® 推出首款单个模块即可支 Qorvo今日推出首款覆盖5.1GHz至7.1GHz频段的宽带前端模块 (FEM),不仅能最大限度地提高容量,而且还能简化设计,缩短产品上市时间,并将前端电路板空间减少50%,适用于Wi-Fi 6E企业级架构。
  • 5G 基础设施的驱动 根据全球移动通信系统协会 GSMA 提供的数据,5G 目前正在顺利推广中,预计将在 2025 年覆盖全球三分之一的人口。另外根据全球领先综合数据库Statista 的调查,主要手机制造商皆已推出 5G 手机,这将使那些希望以理论上高达 50Gb/s 的最大速度传输数据流和视频的人感到满意,预计到 2023 年全球 5G 订阅量将达到 13 亿 。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了