当前位置:科学网首页 > 小柯机器人 >详情
几何深度学习可实现跨物种和环境的3D运动学分析
作者:小柯机器人 发布时间:2021/4/23 13:22:52

2021年4月19日,《自然—方法学》杂志在线发表了美国科学家的一项最新研究成果。来自哈佛大学的Bence P. Ölveczky等研究人员合作发现,几何深度学习可实现跨物种和环境的3D运动学分析。

研究人员设计了DANNCE,这个方法能够在不同的物种和行为中可靠地跟踪3D解剖标志。DANNCE使用射影几何来构建卷积神经网络的输入,该卷积神经网络利用了学习到的3D几何推理。研究人员使用了将近700万帧的数据集来训练和基准化DANNCE,这些数据集与彩色视频和啮齿动物3D姿势相关。

在大鼠和小鼠中,DANNCE可以在自然环境下稳健地跟踪自由移动的动物的头部、躯干和四肢上的数十个标志。研究人员将DANNCE扩展到大鼠幼崽、狨猴和山雀的数据集,并证明了发育过程中行为谱系的定量分析。

据了解,对动物行为的全面描述要求对全身运动进行精确的3D测量。尽管二维方法可以在限制性环境中跟踪可见的地标,但是由于遮挡和外观变化,自由移动动物的性能下降。 

附:英文原文

Title: Geometric deep learning enables 3D kinematic profiling across species and environments

Author: Timothy W. Dunn, Jesse D. Marshall, Kyle S. Severson, Diego E. Aldarondo, David G. C. Hildebrand, Selmaan N. Chettih, William L. Wang, Amanda J. Gellis, David E. Carlson, Dmitriy Aronov, Winrich A. Freiwald, Fan Wang, Bence P. lveczky

Issue&Volume: 2021-04-19

Abstract: Comprehensive descriptions of animal behavior require precise three-dimensional (3D) measurements of whole-body movements. Although two-dimensional approaches can track visible landmarks in restrictive environments, performance drops in freely moving animals, due to occlusions and appearance changes. Therefore, we designed DANNCE to robustly track anatomical landmarks in 3D across species and behaviors. DANNCE uses projective geometry to construct inputs to a convolutional neural network that leverages learned 3D geometric reasoning. We trained and benchmarked DANNCE using a dataset of nearly seven million frames that relates color videos and rodent 3D poses. In rats and mice, DANNCE robustly tracked dozens of landmarks on the head, trunk, and limbs of freely moving animals in naturalistic settings. We extended DANNCE to datasets from rat pups, marmosets, and chickadees, and demonstrate quantitative profiling of behavioral lineage during development.

DOI: 10.1038/s41592-021-01106-6

Source: https://www.nature.com/articles/s41592-021-01106-6

期刊信息

Nature Methods:《自然—方法学》,创刊于2004年。隶属于施普林格·自然出版集团,最新IF:28.467
官方网址:https://www.nature.com/nmeth/
投稿链接:https://mts-nmeth.nature.com/cgi-bin/main.plex