广告

现在到处都是传感器,我该怎么办?

时间:2021-08-17 15:14:37 作者:Moshe Sheier 阅读:
现在,对于运输、机器人、家庭自动化、智能城市、工厂和仓库管理中许多可能的应用来说,通过视觉、雷达或激光雷达传感来进行物体识别和碰撞警告,通过超声波传感器实现短距离的接近侦测,通过IMU进行运动和姿势检测,基于声学的危险声音检测已经很普遍了。说实话,这个清单是无穷无尽的。我们拥有建立一个由智能传感驱动的未来主义的、几乎是科幻小说的世界所需要的所有原材料。但是怎么做呢?
广告

移动计算推动了产品机会的爆发——智能手机、可穿戴设备、可听设备、运动相机等等。传感技术将进一步扩大必须具有环境感知的应用机会。现在,对于运输、机器人、家庭自动化、智能城市、工厂和仓库管理中许多可能的应用来说,通过视觉、雷达或激光雷达传感来进行物体识别和碰撞警告,通过超声波传感器实现短距离的接近侦测,通过IMU进行运动和姿势检测,基于声学的危险声音检测已经很普遍了。说实话,这个清单是无穷无尽的。我们拥有建立一个由智能传感驱动的未来主义的、几乎是科幻小说的世界所需要的所有原材料。但是怎么做呢?

资料来源:CEVA

从感知到运动

想一想一个在机场周围移动的机器人助手。帮助乘客办理登机手续,找到他们的登机口,获得航班的详细信息。这个机器人必须在机场内自由移动,不能撞到在各个方向行走或奔跑的人,或可能是静止的或有时可能移动的物体。这个机器人助手应该知道如何在一个不断变化的环境中进行智能导航。而且,它必须在一定的可能性范围内,能够理解并响应自然语言的语音命令。我们将在下面讨论这个问题。

光学和接近传感器是智能导航技术的一个起点。这些传感器信息输入到一个被称为SLAM的复杂算法中,并生成一个不断移动变化的的空间的点阵云图且随之变化更新。弱光条件下,SLAM技术正越来越多地被航位推算所加强,因为在弱光条件下,光学的效果较差。这种方法从一个已知的位置追踪运动,从车轮运动、加速计和其他传感器中获取信息。同时,接近传感器提供输入,避免撞上一个物体或一个人。我们已经有多个传感器向算法提供信息,以构建地图和定位机器人助手在地图中的位置。

基于摄像头的SLAM需要高精度的线性方程求解,矢量DSP平台很适合。基于超声波的接近感测必须从降噪开始,在回声和其他杂波中定位最近的物体,然后进行范围(和方向)计算。这种信号处理非常适合于标量DSP。

从声音到行动

一位乘客看到一个助手,就叫它过来:"嘿,Airbot!" 首先,助理必须识别这个命令和它的来源。这一步需要一些复杂的音频处理,尤其是在机场航站楼这样的嘈杂环境中。识别触发语音命令是任何智能音箱中都会有的基本人工智能。机器人还可以通过beamforming“”波束成形技术检测语音命令的来源方向。这个技术需要更多的信号处理,从多个麦克风在稍微不同的时间检测到的识别命令中找出方向。

我们的机器人助手”滑行”到乘客身边,沿途避开其他障碍物,在几英尺远的地方停下来,问道:"我能为你做些什么?" 它在屏幕上展示了一系列它知道如何回答的问题,然后乘客说,"我想办理登机手续"。我们的机器人首先必须做一些更多的信号处理,以减少该音频信号的噪音,部分通过波束成形,部分通过回声消除。然后,它必须识别这个命令。

自然语言处理(NLP)可以在云端处理,但机场网络有很大的负荷。因此,NLP必须在本地处理,以便快速响应。机器人应快速响应,以提供令人满意的用户体验。它要求乘客直接看着它的屏幕,拍一张照片,然后要求乘客插入一个图片ID,如护照身份页。然后它可以比较这些图片以增加安全性,这需要一个强大的可编程神经网络引擎。

办理登机手续的剩余步骤?那就有传统的嵌入式处理就够了。

将一切结合起来

智能传感设备必须使用一个支持同时处理多个传感器的平台。它应该为前端信号处理提供强大的标量DSP支持,为基于图像的计算和SLAM提供矢量DSP支持。对语音和视觉人工智能的神经网络支持,也是一个矢量DSP,但对神经网络有特殊的扩展,同时在SDK中有丰富的软件编译器和库,为你提供这些技术领域的所有基础支持。

CEVA的 "SensPro2 "是传感平台提供动力的方案之一。基于CEVA在视觉、音频、SLAM和人工智能方面的强大背景,SensPro2是一款用于多任务传感和多传感器的人工智能(包括摄像头、雷达、激光雷达、飞行时间、麦克风和惯性测量单元)的高度可扩展和增强的第二代高性能传感器控制中心SensorHub DSP。

作者:Moshe Sheier, Vice President of Marketing, CEVA

责编:Amy Guan

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 思特威2021 CPSE同期发布多款新品,成立汽车芯片部及工 思特威(SmartSens)在第18届国际社会公共安全博览会(CPSE)现场举行了2021新品发布会,思宣布新晋成立汽车芯片部及工业和新兴传感器部,意在进一步拓展车载、工业及专业级机器视觉市场。而后,安防、车载、工业和新兴传感器三大芯片部负责人也分别发布新品,为安防、车载电子以及工业&机器视觉客户量身打造智视解决方案……
  • 51亿元,赛微电子投建12吋MEMS制造线项目 赛微电子与合肥高新技术产业开发区管理委员会签署了《合作框架协议》,赛微电子将与合肥高新区合作投资建设12英寸MEMS制造线项目,总投资51亿元人民币,拟建设一座设计产能为2万片/月的12英寸MEMS产线,预计满产后可实现年收入约30亿元。
  • 开年专访谷泰微创始人兼CEO石方敏:2022本土IC要迎“大 近日,半导体科技媒体专访了谷泰微创始人兼CEO石方敏,他是一位在模拟射频领域连续创业的半导体老兵,在创立谷泰微之前他曾经两次成功创业,分别瞄准了射频和模拟IC,这次他又瞄准了混合信号和传感器领域,可以说,三次创业都瞄准的是最难啃的领域,他为何这样选择创业方向?在本土IC的创新方面他有什么感悟,我们来听听他的分享。
  • 图像传感器MA+SA分析——凡走过,必留下痕迹 如同智能手机内的应用处理器所采用的单芯片系统(System on a chip, SOC)一样,图像传感器因为堆栈结构的设计也算是个单芯片系统,系统主要可分为四大部分:像素(Pixel)、逻辑区电路、模拟数字转换器、以及图像信号处理器(Image signal processor, ISP),本文将焦点放在像素上,利用全方位的分析技术,引领读者认识其内部的结构。
  • 从可穿戴到大屏商显,超声波触控开启全尺寸设备进击之路 除手机外,通过超声波技术给未来的创新型应用提供更高的准确度、更大的灵活性和自由度,将交互界面扩展到任何形状(弯曲或平面)、任何材料(金属/玻璃/塑料)和任何条件(潮湿或干燥),让材质本身不再成为交互的障碍,是显通科技为自身制定的更宏伟的目标。
  • 对智能驾驶来说,存储、感知、计算、连接正在发生怎样的 在12月23日举办的国际汽车电子论坛智能驾驶分论坛上,我们不仅看到像大陆集团、均胜电子、宁德时代、英飞凌这样的老面孔,也能看到造FPGA的赛灵思、造存储器的江波龙、造CIS(CMOS图像传感器)的思特威、相关连接标准与芯片的Valens Semiconductor和信号链MCU的芯海科技,以及属于偏向造车新势力的智己汽车。这也能看出“智能驾驶”时代的产业发展相当热闹,汽车这个词在显著拓展着其边界。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • Qorvo® 推出首款单个模块即可支 Qorvo今日推出首款覆盖5.1GHz至7.1GHz频段的宽带前端模块 (FEM),不仅能最大限度地提高容量,而且还能简化设计,缩短产品上市时间,并将前端电路板空间减少50%,适用于Wi-Fi 6E企业级架构。
  • 5G 基础设施的驱动 根据全球移动通信系统协会 GSMA 提供的数据,5G 目前正在顺利推广中,预计将在 2025 年覆盖全球三分之一的人口。另外根据全球领先综合数据库Statista 的调查,主要手机制造商皆已推出 5G 手机,这将使那些希望以理论上高达 50Gb/s 的最大速度传输数据流和视频的人感到满意,预计到 2023 年全球 5G 订阅量将达到 13 亿 。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了