Facebook演示最新手部交互成果:交叉遮挡下的精确手势判断
admin
2021-01-24 07:36:05
0次

(映维网 2020年12月28日)手部追踪是FRL Research旨在提升技术交互亲民度的研究课题之一。从VR头显到AR眼镜,团队正在构建下一个能够让更多人受益的计算平台。手部追踪技术提供了最为熟悉自然的人机交互方式:裸手交互,从而为更多的人打开了沉浸式计算的大门。

有关注映维网分享的小伙伴应该知道,Facebook迄今为止已经展示了一系列的研究进展。今天映维网要再向大家介绍FRL Research在SIGGRAPH Asia大会分享的一篇手部追踪论文。

Facebook演示最新手部交互成果:交叉遮挡下的精确手势判断

名为“Constraining Dense Hand Surface Tracking with Elasticity”的论文主要介绍了一种基于弹性约束的密集手部曲面追踪技术。

我们人类通过双手执行的一系列动作都涉及自接触和自遮挡,如握手、握拳,或者在思考时的交叉手指。这样的用例说明了通过自接触和自遮挡来实现手部追踪的重要性。

但是,现有的追踪方法方法并不是为了处理普通手势所表现出的有限自接触和自遮挡而设计。通过扩展基于视觉的追踪和基于物理的动画的最新进展,FRL Research提出了一个能够通过高度自接触和自遮挡手势来追踪高保真手部变形的算法(适用于单手和双手)。

通过将基于视觉的追踪算法与基于物理的可变形模型相结合,研究人员获得了一种对普遍存在的自交互和常见手势所表现出的大量自遮挡具有鲁棒性的算法,从而允许追踪双手交互和高挑战度的人手配置。

Facebook认为不仅要在手势清晰易明的情况下实现手部追踪,同时要在存在遮挡的情况下精确地判断手势。延伸阅读:Facebook论文详细分享Oculus Quest手部追踪技术细节

另一团队提出的Megatrack方案主要是通过一个虚拟手部骨骼模型来解决所述问题。但在实践中,这一过程尚不完美,特别是由于所使用的虚拟模型不能捕捉皮肤和肌肉的柔韧性和变形性。

由于手部的变形受物理定律约束,所以名为“Constraining Dense Hand Surface Tracking with Elasticity的论文提出了一种弹性3D模型。与Megatrack这样的骨骼模型不同,基于弹性约束的3D模型可以在摄像头无法覆盖的地方模拟变形。

具体地说,团队利用一个弹性体积变形模型和一个碰撞响应模型来约束基于视觉的追踪算法的求解空间,正则化整个手部几何结构和变形闭合区域。其余可见区域则根据多视角摄像头的视觉数据进行追踪。

为了通过变形物理模型来约束基于视觉的追踪方法,研究人员应用了手部的两种表示:模板表面网格和体积四面体网格。给定一个初始化模板网格,所述的追踪方案可以利用曲面网格的顶点最小化光度误差和几何误差,同时使用弹性变形能量和四面体网格定义的穿透避免项对整个手部几何体进行正则化。

为了实现表示之间的通信,团队在优化过程中添加了耦合项,并采用了一种在视觉项最小化和物理项冻结最小化之间进行交替的优化方法。这种交替过程允许研究人员使用最先进的优化技术进行基于视觉的追踪和基于物理的仿真,从而有效地最小化总能量。

FRL Research表示,所述方法能够追踪存在大量自接触和自遮挡的手势。相关论文:Constraining Dense Hand Surface Tracking with Elasticity

简单来说,基于弹性约束的3D手部模型提供了接近真实手部弹性的物理特性。手部的可见区域由摄像头捕捉追踪。当遮挡发生时,追踪系统则会从基于弹性约束的3D手部模型导出变形和碰撞。通过两者的整合,系统可以追踪一系列存在自接触和自遮挡的手势情况。

当然,所述方案需要124个摄像头、一个Intel E5-2698和一个Nvidia Tesla V100。所以它暂时应该无法用于Facebooks的VR/AR头显。另外,团队承认,即便是这样先进的硬件,误差错误都会时不时地出现。

然而,相关研究、吸取的经验教训和追踪数据可以在将来用于改进基于KI的模型,如Megatrack。

除了虚拟现实和虚拟现实,研究者们同时认为所述系统在电影CG、社会科学或医学中的肢体语言研究、身体康复方面存在进一步的应用。

相关内容

热门资讯

自荐信要怎么写 自荐信要怎么写  1、语气自然 语言和句子要简单明了。不要听上去象别人的话,特别是用一些你从未用过的...
描写古代女子美貌的句子 导语:窈窕淑女,君子好逑,以下是小编精心为大家搜集整理的描写古代女子美貌的句子,供大家参考。描写古代...
过年回家句子 过年回家句子(精选95句)  在平平淡淡的日常中,大家都收藏过自己喜欢的句子吧,根据用途和语气,句子...
抖音点赞最火最高句子 抖音点赞最火最高句子  在平日的学习、工作和生活里,许多人对一些广为流传的句子都不陌生吧,根据用途和...
世界上最悲伤的句子   1、年少青春在还没有经受起挥霍时就已经不复长存,青梅竹马也只是儿时无知岁月用来消遣光阴的无谓道具...
生活积极的句子 关于生活积极的句子  也许一个人,要走过很多的路,经历过生命中无数突如其来的繁华和苍凉后,才会变的成...
激励上进的正能量句子 激励上进的正能量句子  在我们平凡的日常里,大家总少不了接触一些耳熟能详的句子吧,在不同类型的文章里...
纪念烈士缅怀先烈的句子 2022纪念烈士缅怀先烈的句子(精选65句)  在现实生活或工作学习中,大家都接触过比较经典的句子吧...
回归家乡的句子 回归家乡的句子  句子是语言运用的基本单位,它由词、词组(短语)构成,能表达一个完整的意思,如告诉别...
描写小兔子的段落 描写小兔子的段落大全  1、兔子浑身长满了毛茸茸的白毛,远远看去像一团棉花。它的一双红眼睛被白毛包住...