广告

美开发OpenMonkeyStudio,基于深度学习研究猕猴的3D姿势

时间:2020-10-20 作者:EET 阅读:
明尼苏达大学的研究人员最近开发了OpenMonkeyStudio,这是一个基于深度学习的运动捕获系统,可用于研究自由移动的猕猴的行为。
广告

明尼苏达大学的研究人员最近开发了OpenMonkeyStudio,这是一个基于深度学习的运动捕获系统,可用于研究自由移动的猕猴的行为。该系统发表在《自然通讯》上的一篇论文中,可以估计猕猴3-D自由移动的姿势,这对于研究动物彼此之间,以及与周围环境的相互作用特别有价值。在这种情况下,“姿势”一词是指动物的主要身体部位相互之间以及周围环境的位置。LO8EETC-电子工程专辑

明尼苏达大学的团队开发的OpenMonkeyStudio深度学习平台LO8EETC-电子工程专辑

OpenMonkeyStudio旨在以3D方式重建13个人体标志。该系统具有62个摄像头,环绕着一个大的开放空间,可以从各个有利位置同步捕捉猕猴的运动。彩色迹线对应于关节标签。显示了多视点图像和与重建的投影叠加的四个任意裁剪的图像。图片来源:Bala等。LO8EETC-电子工程专辑

为了更好地了解人类的行为和认知,以及它们的神经基础,研究人员经常研究具有类似特征的其他哺乳动物。这些研究中最常见的物种之一是恒河猴,这是一种古老的猴子,原产于南亚,中亚和东南亚。LO8EETC-电子工程专辑

恒河猴作为无数神经科学,心理学医学和人类学研究的动物模型,因为它们与人类共享许多行为模式和生物学特征。例如,它们被证明对研究感染中风,艾滋病和其他健康状况有用。LO8EETC-电子工程专辑

研究人员在论文中解释说:“目前,可以通过基于商业标记的运动捕捉系统(例如,Vicon,OptiTrack和PhaseSpace)完成高精度的姿势预测,” “但是,猕猴特别不适用于这些基于标记的系统。”LO8EETC-电子工程专辑

由于多种原因,大多数使用标记的传统捕获系统很难应用于猕猴。首先,猕猴的皮毛长而致密,这使标记物的附着特别具有挑战性,并且随着动物在周围环境中的行动,高度灵活的皮肤会导致标记物移动。此外,由于猕猴是高度敏捷和好奇的生物,因此它们通常会尝试去除标记,并在被迫穿紧身衣或夹克时感到非常不舒服。LO8EETC-电子工程专辑

因此,研究人员一直在尝试设计新的运动捕捉系统,从而不依赖可有效跟踪猕猴运动的标记。尽管基于深度学习的图像中,人体姿势预测技术可能是可行的解决方案,但它们通常需要大量的训练数据才能表现良好,有时还需要手动对其进行注释。LO8EETC-电子工程专辑

明尼苏达大学团队开发的OpenMonkeyStudio,是用于3D姿势估计的无标记系统,它使用完全监督的学习方法进行训练。与先前提出的用于跟踪猕猴运动的深度学习技术相反,该系统不需要在大量现有的手动注释数据集上进行训练。LO8EETC-电子工程专辑

研究人员在论文中写道:“我们的系统使用62台摄像机,这些摄像机可提供多视图图像流,这些图像流可通过利用3-D多视图几何来显着扩展注释数据。” “尽管如此大量的摄像头对于训练姿势检测器至关重要,但生成的模型可以在摄像头较少的其他系统中使用(例如,由其他实验室使用),而无需进行训练。”LO8EETC-电子工程专辑

研究人员通过一系列涉及四只雄性恒河猴的实验,对OpenMonkeyStudio进行了评估。在这些测试中,他们的系统达到了惊人的精度,优于当今市场上一些最佳的基于标记的运动捕捉系统(即OptiTrack,NaturalPoint,Corvallis和OR)。此外,发现OpenMonkeyStudio可以很好地概括不同猕猴,并且还可以同时跟踪两个对象的运动。LO8EETC-电子工程专辑

除了开发可以帮助研究猕猴行为的运动捕捉系统之外,研究人员还编译了一个新的数据集,其中包含195,228个带注释的图像,称为OpenMonkeyPose。将来,该数据集(可在GitHub上获得)可用于训练基于深度学习系统,以跟踪恒河猴的运动。LO8EETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 新能源汽车的“三化”为汽车半导体行业带来什么样的机 新能源汽车正在向“三化”(电动化、智能化和网联化)方向发展,汽车半导体在这一快速转型发展过程中扮演着越来越重要的角色。以功率半导体为主的电子元器件在整车中的含量和价值在逐步提升,同时以微处理器和传感器为核心的自动驾驶/ADAS技术也在驱动着汽车半导体的快速增长。
  • FPGA是如何应对新冠疫情的? 很多业务覆盖较广的上游企业,近半年的财报实则是最能反映电子科技行业内,哪些部分受到了新冠疫情的负面影响——典型如汽车、交通领域承受冲击较大,又有哪些则在业务上受到正面影响——典型如客观上推动企业数字化进程加速。
  • 汽车电子,从哪几个层面为汽车市场注入了活力? 智能化的电动车,在抽象层级结构上分成了感知层、决策层与执行层。这三个层级也代表了汽车半导体市场未来巨额的市场增量。其中感知层代表的是各类传感器产品,如摄像头、雷达、速度角度传感器等;决策层则是指计算控制芯片,如ECU、MCU等;而执行层就是电机、电控、转向等系统了,半导体在其中参与的主要是功率器件。
  • 半导体巨头祝贺拜登当选,呼吁加大投资半导体制造业 当地时间周一,英特尔在官网刊登了首席执行官鲍勃·斯旺(Bob Swan) 写给美国“当选总统”拜登的公开信,“美国仅占全球半导体产能的12%,而超过80%的产能在亚洲。”,斯旺在信中敦促美国政府应加大对半导体制造业的投资。
  • 基于电解质栅控晶体管构建可处理时空信息的脉冲神经网 电解质栅控晶体管是近年来提出的一种三端忆阻器件,其结构与传统场效应晶体管类似。近年来科学界对电解质栅控晶体管及其在人工神经网络应用方面的研究取得了一定进展,但研究成果主要集中在单个器件的性能验证……
  • 从ISSCC 2021论文看未来技术发展趋势 可能和今年的新冠疫情有关,ISSCC 2021共收到580篇论文,比去年下滑了7.8%。虽然投稿数量下降,但投稿论文的质量有了提升。ISSCC2021共录用202篇论文,录用率达33.6%。12个技术分类中,论文数量比较多的是高速网络、5G、WiFi、影响应用和机器学习……
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了