研究员探索通过腕带设备进行全身姿态追踪

来源：腾讯网　2022-11-21 09:40:01

查看引用/信息源请点击：映维网Nweon

用单摄像头追踪全身姿态的可穿戴设备

（映维网Nweon 2022年11月21日）未来的腕带设备或许可以通过深度神经网络来实时追踪用户的全身姿态。日前，美国康奈尔大学和上海交通大学的研究人员开发了一款可以以3D方式追踪全身姿态的但摄像头腕带设备BodyTrak。据介绍，这是第一款用单摄像头追踪全身姿态的可穿戴设备。

(资料图)

团队认为，这种技术可以融入至现有的商业智能手表等腕带设备。他们表示：“由于智能手表已经搭载了摄像头，而BodyTrak这样的技术可以理解用户的姿态并给出实时反馈。两者的结合既方便又实惠，同时不会限制用户的移动。”

如上图所示，BodyTrak搭载了一个硬币大小的摄像头，而团队专门定制了一个能够精确填充摄像头未捕获身体部位图像的深度神经网络。

具体来说，尽管摄像头无法完整捕获用户的全身姿态，但定制的深度神经网络可以读取摄像头的基本图像，亦即基本的身体轮廓，然后估计位于手臂、腿、躯干和头部的14个关节的3D位置，并相应地进行填充补全，从而虚拟地实时重建身体姿态。

研究人员对9名被试进行了实验。其中，每名被试在不同的场景中进行12项日常活动，如走路、静坐或锻炼。结果表明，系统仅使用身体指向的一个微型RGB摄像头（11.5mm x 9.5mm）就可以推断出全身姿势（14个关节的3D位置），平均误差为6.9 cm。

团队指出，BodyTrak不需要身体框架完全至于摄像头视场之内，只需捕获一部分身体图像，深度神经网络就可以推断出大量信息并重建整个身体姿态。

另外，他们认为BodyTrak的设计能够减轻旁观者的隐私担忧，因为摄像头仅指向用户身体，只采集用户自己的身体图像。

相关论文：

BodyTrak: Inferring Full-body Poses from Body Silhouettes Using a Miniature Camera on a Wristband

https://paper.nweon.com/13418

当然，目前设备的体积依然巨大，而且研究人员承认如今的智能手表尚无法支持足够小或强大的摄像头和足够的续航来支持BodyTrak的全身追踪。但是，随着技术的不断小型化和成本的降低，未来我们有望通过腕带设备来实时追踪用户的全身姿态。

推荐DIY文章

精彩新闻