广告

嵌入式视觉已到达爆发临界点

时间:2021-07-01 作者:Phil Lapsley 阅读:
不久前,嵌入式视觉刚刚实现了前两个里程碑。深度神经网络的出现促成了技术可行性这一里程碑,它彻底改变了视觉可以完成的任务;摩尔定律、市场经济学和特定领域的架构创新则促成了第二个里程碑;第三个里程碑比较麻烦——易用性,实现它是个难题。
广告

当一项技术实现三大里程碑时,我们就称它达到了临界点:首先,它具备完成重要任务的技术可行性;其次,它的成本足够低廉来实现这些任务;第三也是最重要的是,非专业人员用它来构建产品也非常容易。这些里程碑可以作为指标,表明一项技术已准备好从星星之火变为燎原之势。在今年的嵌入式视觉峰会上,我们看到明确的证据,表明嵌入式视觉已达到其临界点。

不久前,嵌入式视觉刚刚实现了前两个里程碑。深度神经网络的出现促成了技术可行性这一里程碑,它彻底改变了视觉可以完成的任务。于是乎,在混乱的现实世界场景中对图像进行分类或检测物体成为了可能,在某些情况下,其准确性甚至超过了人类。可以肯定的是,这并不容易,但确实可行。

摩尔定律、市场经济学和特定领域的架构创新则促成了第二个里程碑。现在,只需4.99美元就可以买到一个微型ESP32-CAM开发板,搭载一个240-MHz双核处理器以及一个带有板载图像信号处理器和JPEG编码器的2-MP摄像头模块;这将大大挤压计算机视觉的生存空间,但确实有可能做到,也很难再有比这更低的价格了。如果资金富余,则选择范围会大很多。例如,花99美元可以买到一个具有四核1.4 GHz CPU、128核Maxwell GPU和4 GB内存的Nvidia Jetson Nano开发人员工具包,完成一些更高端的嵌入式视觉处理将绰绰有余。

最重要的是,每个月都有新的处理器出现,其价格、功率和性能点都不同,而且通常采用专门的体系架构来提高计算机视觉和神经网络推理任务的性能。例如赛灵思、Cadence和Synaptics的新产品。

第三个里程碑比较麻烦——易用性,实现它是个难题。深度学习的确从根本上改变了视觉系统的功能;但开发人员必须变成一个超人,要能设计神经网络,收集所需的数据并进行训练,更不用说随后还要在资源有限的嵌入式系统上实现它。不过,在过去几年中这种状况发生了改变,主要有两大原因。

首先,高质量、支持良好的视觉工具和库的广泛可用,让开发人员不再需要从头开始构建嵌入式视觉系统。这其中最著名的是TensorFlow或PyTorch之类的框架以及诸如OpenCV之类的库。但应用广泛的专用神经网络,例如Yolov4或Google Inception,则改变了游戏规则。大多数开发人员已不再设计神经网络;相反,他们更愿意选择一个免费现成的神经网络,针对特定任务对其进行训练。(当然,训练神经网络需要数据。尽管可用的开源数据集不断增多,增加数据或减少所需数据量的技术也不断发展,但根据应用的不同,数据收集仍然是一个极具挑战性的任务。)

这些构件库和工具可能绑定了芯片供应商,例如英伟达的DeepStream SDK,其简化了视频分析管道的创建。尽管DeepStream必须与英伟达的Jetson处理器一起使用,但它仍是供应商提供的最接近完整的解决方案(相对于“仅提供一个芯片”而言)。BDTI和Tryolabs最近刚刚采用DeepStream和YoloV4开发出一款口罩检测智能摄像头产品。

其次,专门用于简化创建嵌入式视觉和边缘AI系统设计过程的工具也越来越多。例如Edge Impulse,这款工具简化了嵌入式机器学习和视觉系统的开发。举例来说,Edge Impulse平台可为上述4.99美金的ESP32-CAM处理器训练并编程图像识别神经网络;同样,对于功能更强大的处理器,英特尔的DevCloud for Edge和OpenVINO工具可以使嵌入式视觉应用更容易在边缘端实现。

回想1990年代,当时的无线通信还是个“新事物”。最开始,它还是一群RF魔术师才能实现的高档魔术。但它跨过了临界点后,如今任何人都可以只花几美元就买到RF模块,在嵌入式产品中实现无线通信。在此过程中,不夸张地说有数十亿个无线单元被销售,其经济影响是巨大的。

如今,嵌入式视觉也处于类似的临界点,让我们期待并见证实这一时刻的到来。

编按:本文作者菲尔·拉普斯利(Phil Lapsley)是咨询公司BDTI的联合创始人

本文为《电子工程专辑》2021年7月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 在家办公的趋势真能让工程师选择离开大都市? 疫情之下快速崛起的在家上班/远程办公模式衍生出一个新名词:“Zoom小镇”;这些“小镇”在过去一年大幅增加,预期随着COVID-19病毒持续肆虐全球而有越演越烈的趋势...
  • 汇顶科技发布2021上半年财报,向综合型IC设计公司持续转 “不要把鸡蛋放在同一个篮子里”,这是此前一些上游原厂从苹果处得到的教训。仅仅依靠单一产品线的强势,不能长久地维持企业在市场中的地位,需要在研发上持续投入布局新市场;但由此带来的问题就是研发费用提高、新业务尚未盈利,会给公司的净利率带来明显影响。在近日举行的2021上半年财报披露投资者交流会上,汇顶科技阐述了他们将如何在顶住转型过程中的市场压力和业绩阵痛,努力成为一家多元化、综合型半导体企业……
  • IGBT模块及散热系统的等效热模型 对功率器件及整个系统的热设计,都是以器件及系统的热路模型为基础来建模分析的,本文对IGBT模块的等效热路模型展开基础介绍,所述方法及思路也可用于其他功率器件的热设计。
  • 拆解realme Buds Air2 Neo:采用络达蓝牙主控芯片 TWS耳机现在很常见了,几乎各个品牌都有自己产品,但降噪且价格低还是比较少的。eWiseTech拆解了仅售199元还支持主动降噪的TWS耳机——真我Buds Air2 Neo……
  • 救命的电路设计,成功阻止涡轮发动机“飞刀”杀人 当转速表指针旋转时,我的心脏几乎都快停止跳动了。紧接着,响起了惨绝人寰的尖叫以及像是一头痛苦的巨兽发出咆哮声。不过,很幸运的是,我设计的极限传感器起作用了,涡轮引擎终于停下来了,转速表指针也开始转向零...
  • 电机种类繁多,如何选择最适合的驱动控制芯片方案? 电机驱动芯片一般是集成有CMOS 控制电路和DMOS 功率器件的芯片,利用它可以与主处理器、电机和增量型编码器构成一个完整的运动控制系统。可以用来驱动直流电机、步进电机和继电器等感性负载。电机控制要考虑的情况稍微复杂,在满足至少3路正交PWM输出和ADC采样两个基本要求后,在根据具体应用来选择方案……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • 为什么DDR电源设计时需要VTT电源 往期精彩1、超全超详细Mos管元件特性及工作原理介绍;2、超详细开关电源芯片内部电路解析;3、70G硬件设计资料汇总分享;【友情推荐】4、分享一份老工程师(某为工作15年)经常使用的pcb企业封装库包
  • 光刻与键合:超越摩尔器件制造设备成了香饽饽 文︱立厷图︱网络近日,“国产光刻机取得关键性进展,ASML始料未及”的报道,由于没有过多细节,振奋还是为时过早。如果国产光刻机能达到国际水平,国内科技水平的提升将是突飞猛进的,相关行业会得到快速发展,
  • 建厂难、验证烦,Foundry和Fabless的同一个“困惑”  问题到底出在哪里?作者:亚亚君引言——几年前,上海的一位领导向芯谋研究首席分析师顾文军问了一个问题:“作为国内领先的代工厂,中芯国际能给高通流片28纳米工艺,为什么不能给展锐流片?而展锐作
  • 一代国民神车落寞,宝马中国收购华晨中华工厂 点击蓝字关注我们据财经汽车报道,8月31日,华晨集团等12家企业实质合并重整案召开第二次债权人大会,会上共有三项议案,包括财产管理及变价方案、成立债权人委员会两项议案,以及核心议案宝马中国收购华晨中华
  • 国产替代之痛,这款超高性价比的MCU堪称“翘楚”! MCU涨价缺货是埋在工程师心头的一根刺,从晶圆产能告急再到疫情天灾不断,MCU市场命途多舛。而究其市场国外产品占据超过70%,加之地缘政治摩擦加剧,国产化和国产替代成为当代电子必谈之需。记者获悉,从去
  • 采样电阻选型详析 电流检测电阻的基本原理根据欧姆定律,当被测电流流过电阻时,电阻两端的电压与电流成正比.当1W的电阻通过的电流为几百毫安时,这种设计是没有问题的.然而如果电流达到10-20A,情况就完全不同,因为在电阻
  • LED显示屏企业站上“新零售”赛道 2016年阿里云栖大会上,新零售这一概念被提出。何为新零售?简单来说,就是以数据为驱动,通过新科技发展和用户体验的升级,来改造零售业形态,其本质是通过线上销售和线下销售的相互融合,更好地提升顾客的购物
  • 10年后手机会是什么样子,有哪些投资机会? 智能手机浪潮带来海量的投资机会,未来10年,手机会变成什么样子?又有哪些投资机会?TechRadar 的团队和资源数据分析机构ElementsVC 试图解答这些问题。 在2010年代末期,智
  • 【数据】2021年vivo占稳中国手机市场第一 关注国产手机最新消息:今日,知名市调机构Counterpoint Research发文称,vivo是中国智能手机市场的低调之王。但从数据来看,vivo自2021年第一季度以来一直占据着中国智能手机市场
  • 相见恨晚的Altium Designer使用技巧 首先声明下,写这个专题的目的不是为了做教程,所以前提都是建立在大家对于AD比较熟悉的基础上,旨在为大家减少一些画板过程中的繁琐机械的劳动~本文转载自Altium官方公众号。废话不多说,正文开始!场景一
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了