广告

EyeSight之父:雷达爱误报,立体视觉更适合自动驾驶

时间:2018-05-24 作者:Junko Yoshida 阅读:
日本新创公司ITD Lab正在开发一种“智能立体摄像头”(ISC)技术,锁定包括先进驾驶辅助系统(ADAS)、自动驾驶车辆、无人机、建筑用工具机、工业用机器人等应用...
广告
ASPENCORE

一家成立由20名员工组成的日本新创公司ITD Lab正在开发一种“智能立体摄像头”(Intelligent Stereo Camera,ISC)技术,锁定包括先进驾驶辅助系统(ADAS)、自动驾驶车辆、无人机、建筑用工具机、工业用机器人等应用。KD6EETC-电子工程专辑

ITD Lab的秘密武器是首席技术官実吉敬二(Keiji Saneyoshi),他是日本车厂斯巴鲁(Subaru)智能驾驶辅助系统EyeSight之父,是该车厂原创立体视觉系统“Stereo Range Imager”幕后的首席工程师;実吉任职于Subaru时率领的团队,开发了第一套只利用立体摄像头(stereo cameras)来侦测物体,例如车辆、行人、自行车或机车骑士的驾驶辅助系统
KeijiSaneyoshi_120
Keiji SaneyoshiKD6EETC-电子工程专辑

実吉在1998年离开Subaru进入学界,在东京工业大学(Tokyo Institute of Technology,TIT)担任教授直到2017年初;他在TIT任教期间指导的团队进一步提升了原始立体视觉算法,并在2016年5月成立ITD LabKD6EETC-电子工程专辑

显然先进的立体视觉(stereo-vision technology)技术就是実吉与ITD Lab的专长所在,该技术可提供“距离估算”(distance estimation),这是单眼摄像头无法做到的。然而,传感器融合在现今汽车产业领域蔚为风潮,ITD Lab推动立体视觉在ADAS的应用似乎是违背直觉。KD6EETC-电子工程专辑

尽管立体视觉曾经被视为ADAS来说至关重要的差异化技术,聚焦于高度自动化驾驶车辆的一线汽车零组件供应商(Tier One)与车厂倾向于认为立体视觉不那么相关;产业界形成的共识是,单视觉(Monovision)的局限可以透过单眼摄像头与雷达的结合来解决。KD6EETC-电子工程专辑

実吉坦承,雷达-单视觉方案确有进展,不过他仍然对ITD Lab的立体视觉技术有信心,因为该技术不需要融合雷达数据,能提供在3D距离量测、自我位置识别、防碰撞、物体追踪、车道识别、道路边界识别等方面表现卓越性能,速度可达每秒60讯框(frames)、最高甚至可达每秒160个讯框。KD6EETC-电子工程专辑

曾受教于実吉的ITD Lab首席执行官小仓明宏(Akihiro Ogura)接受EE Times采访时表示,该公司技术的其他优势包括支持“自动校准”(automatic calibration),能吸收制造失误与安装时的连接失误;而小仓强调,ITD Lab的技术目标是以较低的成本提供最高安全性,该公司应用于ADAS的解决方案之成本会低于Intel/Mobileye的方案。KD6EETC-电子工程专辑

ITD Lab是在一个黑盒子里提供其先进立体视觉算法,以储存在ROM中的程序代码形式,用以启动Intel-Altera的Cyclone FPGA
ITDlabdemo
*ITD Lab展示其智能立体摄像头(左上)
(来源:EE Times)*KD6EETC-电子工程专辑

与EyeSight系出同源

虽然ITD Lab是一家新创公司,却因为技术与Subaru的EyeSight有血缘关系而很少遇到信誉相关的问题。如技术顾问公司VSI Labs创办人暨首席顾问Phil Magney所言:“EyeSight是很可靠的解决方案,而且已经存在市场好一段时间;Subaru在推出前向(forward-facing) ADAS解决方案后不久就赢得不少赞赏,这成为Subaru车用安全解决方案阵容的基础。”KD6EETC-电子工程专辑

以実吉在Subaru开发的Stereo Range Imager为基础,ITD Lab声称其解决方案有进一步的改善,特别是在自动校准、视差影像精确度(parallax image accuracy)、计算性能(平行处理优化)等方面。不过也有部分产业观察家指出,立体视觉不再是ADAS的唯一解答。KD6EETC-电子工程专辑

针对Subaru的EyeSight,市场研究机构The Linley Group资深分析师Mike Demler的观察是:“Subaru显然利用了双摄像头进行距离估算,以支持其适应性巡航控制与自动剎车/油门等功能,这是罕见的选择;”他指出:“雷达现在是该类功能更热门的技术选项,也更精确可靠,因为不必顾虑光线情况与雨雪等情境。”KD6EETC-电子工程专辑

而Demler指出,使用立体摄像头的唯一理由是3D建模以及距离估算,他猜测実吉选择立体视觉方法而非摄像头-雷达系统,只是因为他对前者比较熟悉。不过実吉坚称,立体视觉方案──藉由在整个流程中保持光流(optical flow)──能让ADAS更简单而且容易,因为不需要传感器融合。KD6EETC-电子工程专辑

VSI Labs的Magney部分同意実吉的意见;他指出:“采用立体视觉做为主要传感器,就不必担心雷达,”而且能让你“把所有的处理程序包进立体视觉模块中,所以在布署之前一切都设定妥当;”然而他也指出:“更常见的方法是将单眼摄像头搭配雷达,可以更合理地量测物体的深度以及运动。”KD6EETC-电子工程专辑

确实,雷达技术一直在变得更好;如Magney所言,它抵抗天气的能力比摄像头更好。在另一方面,雷达的最大问题仍然是“误报”。随着传感器融合的势力不断扩大,ITD的立体视觉技术有可能已经过时,但该公司首席执行官小仓在充分意识到所面临的艰困市场竞争之同时,也表示:“给我们机会证明我们的技术,你一定不会失望。”KD6EETC-电子工程专辑

支持立体视觉技术,你不是一个人在战斗

日本新创公司ITD Lab并非唯一看好立体视觉技术的业者,还有包括汽车安全系统制造商Autoliv、Subaru/Eyesight以及Ambarella (VisLab),也提供立体视觉解决方案。KD6EETC-电子工程专辑

市场研究机构The Linley Group资深分析师Mike Demler表示,来自欧洲的自动驾驶技术开发商AIMotive曾示范过利用立体摄像头支持高阶自动驾驶;技术顾问公司VSI Labs创办人暨首席顾问Phil Magney则指出,除了前面提到的那些公司:“有少数一线(Tier Ones)汽车电子厂商也仍支持立体视觉技术,就算目前没有将该技术列在产品列表中,也会提供立体视觉方案的询价(RFQ)。”KD6EETC-电子工程专辑

相较于其他立体视觉解决方案,ITD Lab首席技术官実吉敬二(Keiji Saneyoshi)强调,该公司的优势在于两个方面:“我们提供更清晰的物体边缘(object-edge)侦测,而且我们的处理速度快很多──大概是Subaru EyeSight速度的十倍。”
stereovisionedgecomparison3_CMOSimage
*CMOS影像传感器拍摄的影像
(来源:ITD Lab)*
stereovisionedgecomparison2
*ITD Lab竞争对手之立体视觉技术拍摄的影像
(来源:ITD Lab)*KD6EETC-电子工程专辑

上面的第一张图是以CMOS影像传感器拍摄的影像,第二张图则是ITD Lab竞争对手的立体视觉技术所撷取的影像;実吉指出,物体之间的边缘粗糙而且模糊,可能导致某些物体消失在背景中。下方的影像则是由ITD Lab自家立体视觉技术拍摄的,每个物体的边缘更锐利,强化了可藉由转向避免碰撞的能力。
stereovisionedgecomparison1
*以ITD Lab立体视觉技术拍摄的影像
(来源:ITD Lab)*KD6EETC-电子工程专辑

功能齐全的SoC

而ITD Lab与其他计算机视觉处理器业者的最大差异化所在,是実吉坚持利用FPGA做为视觉加速器,他相信FPGA不只对该公司的立体视觉算法很理想,也能在未来用以执行CNN或DNN等人工智能神经网络:“FPGA的平行处理流水线是为深度学习量身打造。”KD6EETC-电子工程专辑

虽然目前ITD Lab的智能立体摄像头(Intelligent Stereo Camera)还未提供深度学习功能,但该公司首席执行官小仓明宏(Akihiro Ogura)表示,他们计划利用“一款低成本FPGA”添加AI功能。根据ITD Lab代理商Macnica/Fuji Electronics总经理荒井文彦(Sachihiko Asakura)的说法,该公司正准备导入来自第三方业者的深度学习解决方案。KD6EETC-电子工程专辑

对此VSI Labs的Magney表示:“对ADAS来说,没有AI功能不会是一个缺陷,因为该类系统主要是决定性应用;不过对更多先进应用(例如自动驾驶)来说,你会需要对AI技术有所著墨,以保持与市场的关联性。”KD6EETC-电子工程专辑

ITD Lab的実吉坚信,立体视觉处理是在未进行训练的情况下侦测一般物体的理想方案;相较之下单眼视觉可能会在遇到未经过训练的状况时错失物体侦测;“举例来说,Volvo的自动驾驶技术据说在识别马路上的袋鼠时遭遇困难,”他表示,袋鼠的跳跃动作会混淆单眼相机的视觉处理。KD6EETC-电子工程专辑

但The Linley Group的Demler并不赞同,他提出的疑问是:“单眼视觉物体侦测与识别算法都已妥善经过证实,ImageNet竞赛都是以单眼拍摄影像为识别内容,这不是很有趣吗?”他进一步表示:“神经网络推理引擎是分类气,它们会计算一个物体有经过预先训练的概率,如我们所知道的,Uber的系统其实有侦测到牵着自行车穿越马路的女性路人,但软件当机了。”KD6EETC-电子工程专辑

对于Uber自驾车在美国发生的撞人致死事故,実吉的疑问是Mobileye视觉处理器有没有在足够快的时间内侦测到行人。为了证明今日的ADAS技术性能,Mobileye在来自警方提供之Uber交通事故视频馈入上执行其软件;英特尔资深副总裁Amnon Shashua在去年3月的一篇部落格文章中表示:“尽管条件不理想,大多数出现在实际场景中的高动态范围数据可能丢失,但在发生撞击大约1秒之前能达成清楚的侦测。”KD6EETC-电子工程专辑

実吉也有做过一样的工作,在Uber事故的视频馈入上执行其软件;根据他的说法,ITD的智能立体摄像头能在撞击发生前2.23秒侦测到穿越马路的女性行人。如下图所示,第一栏是单眼视觉处理器撷取的影像在撞击前1.29秒侦测到物体,第二栏是ITD的立体视觉撷取到的影像,第三栏则是警方提供的事故发生当时监视录像。
ITDLabUberaccident
*以不同技术模拟侦测Uber美国的撞人致死事故
(来源:ITD Lab)*KD6EETC-电子工程专辑

ITD Lab准备推出其智能立体摄像头芯片──储存一组用以处理视差影像数据之FPGA程序代码的ROM芯片──以及包括光学组件在内的参考设计开发板;该公司表示,至少将有一家Tier One厂商正在评估其技术,而実吉表示该方案的功耗是3瓦。KD6EETC-电子工程专辑

编译:Judith ChengKD6EETC-电子工程专辑

本文授权编译自EE Times,版权所有,谢绝转载KD6EETC-电子工程专辑

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。
KD6EETC-电子工程专辑

KD6EETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 新冠疫情下汽车行业崩了,自动驾驶呢? 下滑的汽车销售量与营收所导致的车辆研发资金减少,将产生显著的影响;不过影响程度在车厂、汽车零组件供应商、高科技业者与资本投资业者(VC)之间会有所不同...
  • 胡润发布中国芯片设计10强民营企业,华为未上榜 胡润研究院发布《2020胡润中国芯片设计10强民营企业》,列出了中国10强本土芯片设计民营企业,按照企业市值或估值进行排名。有趣的是,这份榜单中没有我们经常看到的华为海思、紫光展锐等公司……
  • 疫情阴霾未散,能否期待低迷中的一线希望? 在全球大流行疫情阴霾未完全消散之前,我们的云霄飞车之旅也还没结束…
  • IC Insights:CMOS图像传感器销量将十年来首次下滑 据IC Insights发布的报告显示,预计2020年受疫情影响,CMOS图像传感器的销量将会出现十年来的首次下滑,但是明年将会出现反弹,甚至出现创纪录的新高。
  • 科创板两天受理13家申请,半导体企业密集过会 6月初,科创板两天内受理了13家企业的上市申请,其中中芯国际成为募资最高企业,引领红筹回归;中国半导体专用设备五强的盛美半导体获得受理;寒武纪2个月快速过会创纪录;敏芯微则在专利风波下获得通过。目前科创板受理企业总数已达到323家,上市的芯片概念企业已近20家,集聚效应初显……
  • 《电子工程专辑》杂志专题汇编之二:生物识别及传感器技 今天,指纹验证、刷脸支付、虹膜扫描,这些生物识别(Biometric)技术频频出现在手机厂商为新品进行宣传推广的文案显要位置。当然生物识别不仅仅包含指纹或人脸识别,声音、步态、耳形、甚至体味都可作为一种生物识别手段来验证身份。未来,从手机解锁、小区门禁到餐厅吃饭、超市收银,再到高铁进站、机场安检以及医院看病,靠身体密码走遍天下的时代正在加速到来,而传感器则在其中扮演着重要的角色。《电子工程专辑》编辑部精心挑选2018年以来发布在杂志上的有关生物识别及传感器技术专题的文章,希望为有兴趣了解生物识别及传感器技术的读者提供最新的技术趋势和相关的学习资料。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了