广告

美开发OpenMonkeyStudio,基于深度学习研究猕猴的3D姿势

时间:2020-10-20 16:30:51 作者:EET 阅读:
明尼苏达大学的研究人员最近开发了OpenMonkeyStudio,这是一个基于深度学习的运动捕获系统,可用于研究自由移动的猕猴的行为。
广告

明尼苏达大学的研究人员最近开发了OpenMonkeyStudio,这是一个基于深度学习的运动捕获系统,可用于研究自由移动的猕猴的行为。该系统发表在《自然通讯》上的一篇论文中,可以估计猕猴3-D自由移动的姿势,这对于研究动物彼此之间,以及与周围环境的相互作用特别有价值。在这种情况下,“姿势”一词是指动物的主要身体部位相互之间以及周围环境的位置。

明尼苏达大学的团队开发的OpenMonkeyStudio深度学习平台

OpenMonkeyStudio旨在以3D方式重建13个人体标志。该系统具有62个摄像头,环绕着一个大的开放空间,可以从各个有利位置同步捕捉猕猴的运动。彩色迹线对应于关节标签。显示了多视点图像和与重建的投影叠加的四个任意裁剪的图像。图片来源:Bala等。

为了更好地了解人类的行为和认知,以及它们的神经基础,研究人员经常研究具有类似特征的其他哺乳动物。这些研究中最常见的物种之一是恒河猴,这是一种古老的猴子,原产于南亚,中亚和东南亚。

恒河猴作为无数神经科学,心理学医学和人类学研究的动物模型,因为它们与人类共享许多行为模式和生物学特征。例如,它们被证明对研究感染中风,艾滋病和其他健康状况有用。

研究人员在论文中解释说:“目前,可以通过基于商业标记的运动捕捉系统(例如,Vicon,OptiTrack和PhaseSpace)完成高精度的姿势预测,” “但是,猕猴特别不适用于这些基于标记的系统。”

由于多种原因,大多数使用标记的传统捕获系统很难应用于猕猴。首先,猕猴的皮毛长而致密,这使标记物的附着特别具有挑战性,并且随着动物在周围环境中的行动,高度灵活的皮肤会导致标记物移动。此外,由于猕猴是高度敏捷和好奇的生物,因此它们通常会尝试去除标记,并在被迫穿紧身衣或夹克时感到非常不舒服。

因此,研究人员一直在尝试设计新的运动捕捉系统,从而不依赖可有效跟踪猕猴运动的标记。尽管基于深度学习的图像中,人体姿势预测技术可能是可行的解决方案,但它们通常需要大量的训练数据才能表现良好,有时还需要手动对其进行注释。

明尼苏达大学团队开发的OpenMonkeyStudio,是用于3D姿势估计的无标记系统,它使用完全监督的学习方法进行训练。与先前提出的用于跟踪猕猴运动的深度学习技术相反,该系统不需要在大量现有的手动注释数据集上进行训练。

研究人员在论文中写道:“我们的系统使用62台摄像机,这些摄像机可提供多视图图像流,这些图像流可通过利用3-D多视图几何来显着扩展注释数据。” “尽管如此大量的摄像头对于训练姿势检测器至关重要,但生成的模型可以在摄像头较少的其他系统中使用(例如,由其他实验室使用),而无需进行训练。”

研究人员通过一系列涉及四只雄性恒河猴的实验,对OpenMonkeyStudio进行了评估。在这些测试中,他们的系统达到了惊人的精度,优于当今市场上一些最佳的基于标记的运动捕捉系统(即OptiTrack,NaturalPoint,Corvallis和OR)。此外,发现OpenMonkeyStudio可以很好地概括不同猕猴,并且还可以同时跟踪两个对象的运动。

除了开发可以帮助研究猕猴行为的运动捕捉系统之外,研究人员还编译了一个新的数据集,其中包含195,228个带注释的图像,称为OpenMonkeyPose。将来,该数据集(可在GitHub上获得)可用于训练基于深度学习系统,以跟踪恒河猴的运动。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了