广告

现在到处都是传感器,我该怎么办?

时间:2021-08-17 作者:Moshe Sheier 阅读:
现在,对于运输、机器人、家庭自动化、智能城市、工厂和仓库管理中许多可能的应用来说,通过视觉、雷达或激光雷达传感来进行物体识别和碰撞警告,通过超声波传感器实现短距离的接近侦测,通过IMU进行运动和姿势检测,基于声学的危险声音检测已经很普遍了。说实话,这个清单是无穷无尽的。我们拥有建立一个由智能传感驱动的未来主义的、几乎是科幻小说的世界所需要的所有原材料。但是怎么做呢?
广告

移动计算推动了产品机会的爆发——智能手机、可穿戴设备、可听设备、运动相机等等。传感技术将进一步扩大必须具有环境感知的应用机会。现在,对于运输、机器人、家庭自动化、智能城市、工厂和仓库管理中许多可能的应用来说,通过视觉、雷达或激光雷达传感来进行物体识别和碰撞警告,通过超声波传感器实现短距离的接近侦测,通过IMU进行运动和姿势检测,基于声学的危险声音检测已经很普遍了。说实话,这个清单是无穷无尽的。我们拥有建立一个由智能传感驱动的未来主义的、几乎是科幻小说的世界所需要的所有原材料。但是怎么做呢?

资料来源:CEVA

从感知到运动

想一想一个在机场周围移动的机器人助手。帮助乘客办理登机手续,找到他们的登机口,获得航班的详细信息。这个机器人必须在机场内自由移动,不能撞到在各个方向行走或奔跑的人,或可能是静止的或有时可能移动的物体。这个机器人助手应该知道如何在一个不断变化的环境中进行智能导航。而且,它必须在一定的可能性范围内,能够理解并响应自然语言的语音命令。我们将在下面讨论这个问题。

光学和接近传感器是智能导航技术的一个起点。这些传感器信息输入到一个被称为SLAM的复杂算法中,并生成一个不断移动变化的的空间的点阵云图且随之变化更新。弱光条件下,SLAM技术正越来越多地被航位推算所加强,因为在弱光条件下,光学的效果较差。这种方法从一个已知的位置追踪运动,从车轮运动、加速计和其他传感器中获取信息。同时,接近传感器提供输入,避免撞上一个物体或一个人。我们已经有多个传感器向算法提供信息,以构建地图和定位机器人助手在地图中的位置。

基于摄像头的SLAM需要高精度的线性方程求解,矢量DSP平台很适合。基于超声波的接近感测必须从降噪开始,在回声和其他杂波中定位最近的物体,然后进行范围(和方向)计算。这种信号处理非常适合于标量DSP。

从声音到行动

一位乘客看到一个助手,就叫它过来:"嘿,Airbot!" 首先,助理必须识别这个命令和它的来源。这一步需要一些复杂的音频处理,尤其是在机场航站楼这样的嘈杂环境中。识别触发语音命令是任何智能音箱中都会有的基本人工智能。机器人还可以通过beamforming“”波束成形技术检测语音命令的来源方向。这个技术需要更多的信号处理,从多个麦克风在稍微不同的时间检测到的识别命令中找出方向。

我们的机器人助手”滑行”到乘客身边,沿途避开其他障碍物,在几英尺远的地方停下来,问道:"我能为你做些什么?" 它在屏幕上展示了一系列它知道如何回答的问题,然后乘客说,"我想办理登机手续"。我们的机器人首先必须做一些更多的信号处理,以减少该音频信号的噪音,部分通过波束成形,部分通过回声消除。然后,它必须识别这个命令。

自然语言处理(NLP)可以在云端处理,但机场网络有很大的负荷。因此,NLP必须在本地处理,以便快速响应。机器人应快速响应,以提供令人满意的用户体验。它要求乘客直接看着它的屏幕,拍一张照片,然后要求乘客插入一个图片ID,如护照身份页。然后它可以比较这些图片以增加安全性,这需要一个强大的可编程神经网络引擎。

办理登机手续的剩余步骤?那就有传统的嵌入式处理就够了。

将一切结合起来

智能传感设备必须使用一个支持同时处理多个传感器的平台。它应该为前端信号处理提供强大的标量DSP支持,为基于图像的计算和SLAM提供矢量DSP支持。对语音和视觉人工智能的神经网络支持,也是一个矢量DSP,但对神经网络有特殊的扩展,同时在SDK中有丰富的软件编译器和库,为你提供这些技术领域的所有基础支持。

CEVA的 "SensPro2 "是传感平台提供动力的方案之一。基于CEVA在视觉、音频、SLAM和人工智能方面的强大背景,SensPro2是一款用于多任务传感和多传感器的人工智能(包括摄像头、雷达、激光雷达、飞行时间、麦克风和惯性测量单元)的高度可扩展和增强的第二代高性能传感器控制中心SensorHub DSP。

作者:Moshe Sheier, Vice President of Marketing, CEVA

责编:Amy Guan

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 此疫绵绵无绝期,穿戴医疗正当时 消费或是医疗性穿戴式产品有各种不同的外观,其中,可以化身为更多“型态”的穿戴式生物传感器要让普罗大众进一步接受,仍有其挑战存在。其中最大的挑战为低功耗与高分辨率芯片设计技术、医疗法规认证的设计考虑、传输接口的稳定设备、软件服务的确效要求、产品设计的医疗规范。
  • 拆解红米首款主动降噪TWS耳机AirDots3 Pro 红米产品一向主打性价比,今年5月底他们发布了一款TWS耳机“AirDot3Pro“售价仅300+,首发更是低于300。这样的价格下,它还是一款主动降噪耳机,是如何做到低成本又能主动降噪的?
  • 针对工业应用的嵌入式机器学习 工程师如何才能实际应用AI / ML来获得真正的,可衡量的收益?该技术是否已经足够成熟,足以证明可以推出用于工厂车间,还是尚处于初期阶段?
  • 智能手机摄像头芯片趋势预测 Omdia预测,2021年全球手机CIS的销售额将达到12.6亿美元,较2015年的6.3亿美元翻了一番。随着智能手机市场的日趋饱和,未来手机CIS的市场增速逐渐放缓。预计2022,2023,2024年,手机CIS市场的增长率分别降至3.6%、4.7%和3.4%。
  • 拜登政府或批准向华为出售汽车芯片,反华议员跳脚 路透社援引两位知情人士的消息称,美国政府已经批准向被列入实体清单的华为出售价值数亿美元的汽车零部件芯片的许可证申请。拜登总统入主白宫后,仍然坚持对华为的强硬政策,一律拒绝向华为出售可用于5G网络设备或器具的芯片的许可证申请。不过最近一段时间以来……
  • 景略与韦尔一起成立新公司,做“车载视频传输专用芯片” 上周,景略半导体(上海)有限公司与上海韦尔半导体股份有限公司,举办了战略合作签约仪式,宣布双方在车载视频传输专用芯片上达成战略合作,与此同时要成立一家新的半导体公司——虽然双方都暂未透露这家新公司的具体情况。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 瑞萨电子携手豪威科技提供汽车摄像 设计采用瑞萨电子的新型汽车高清链接(AHL)技术和豪威科技的OX01F10 130万像素SoC,以提供低成本的优质视频;于9月15日至16日在比利时AutoSens展会上进行展示
  • 芯查查屹立数字化潮头,赋能电子信息 全球市场对芯片需求进一步扩大,我国集成电路产业布局加快,广东、上海、浙江、天津等多地陆续公布制造业“十四五”规划,集成电路成为各地未来五年的重点发展方向。
  • 一文道破傅里叶变换的本质,优缺点一目了然 傅里叶变换的公式为:可以把傅里叶变换也成另外一种形式:可以看出,傅里叶变换的本质是内积,三角函数是完备的正交函数集,不同频率的三角函数的之间的内积为0,只有频率相等的三角函数做内积时,才不为0。下面从
  • 千亿级市场!钠离子电池走红:近三十家企业布局 据央视财经报道,近年来,得益于新能源汽车产业的迅速发展,动力电池市场全面爆发,除了已被广泛应用的主流代表锂电池之外,钠电池的横空出世,再度搅热了新型电池市场。报道称,钠离子电池的生产工艺和锂离子电池非
  • 新能源汽车行业招聘! ↑ 点击上面 “电动知家”可以订阅哦!随着新能源汽车产业的快速发展,电池行业人才短缺问题日益凸显。根据国务院正式发布的《新能源汽车产业发展规划(2021—2035年)》,到2025年,新能源
  • 做新能源,这个证书很吃香! 点击上面↑“电动知家”可以订阅哦!官方唯一认证!“电池制造工程师”广东班班来了!随着新能源汽车、消费电子、智能产品、共享经济等众多终端应用市场迅猛发展,电池产品技术在快速迭代升级、电池企业规模不断扩大
  • 华为成立第3家超聚变公司,落户郑州 昨日,除了科技巨头苹果发布了几款新品之外,国内科技龙头华为也出现了新的动作。根据相关报道显示,华为近日在河南郑州成立了一家超聚变数字技术有限公司,工商信息显示该公司的法定代表人为郑丽英,注册资本7.2
  • STM32Trust:助你一站式完成安全设计 ▲ 点击上方 关注STM32 导语:STM32Trust是一项关注设备安全性的多级综合策略,将安全知识、工具和ST原厂开箱可用软件包相结合,融合以往的行业实践经验,通过一
  • 12家车企被要求协助针对特斯拉的调查 点击上面↑“电动知家”可以订阅哦!电动知家消息,据外媒报道,美国国家公路交通安全管理局(NHTSA)在9月14日表示,作为对特斯拉Autopilot高级辅助驾驶系统调查的一部分,该机构已经要求12家主
  • Cadence 2022校园招聘 - 空中宣讲会来啦 点击阅读原文,直达空宣页面⬇⬇⬇⬇⬇⬇⬇⬇⬇
  • 用国产CH32替代STM32,要不要试试? /* 作者: 罗冰  https://blog.csdn.net/luobing4365 */随着芯片价格疯涨,项目的不可控性越来越大。特别是价格方面,达到了无法想象的地步了。按我的记忆,之
  • 【见刊快,高分区】这些优质的SCI期刊火热征稿中! 扫码联系编辑,更多优质期刊等你投,高分区高IF高录用!郭编辑
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了