NOLO宣布全新自研手部追踪技术方案

现实世界的日常生活，离不开双手的操作。这种与生俱来的本能，是我们认知现实世界的条件之一，即使在虚拟世界中，我们也会时不时的下意识用双手去操作。

今天，我们非常开心地向大家宣布，NOLO手部追踪技术的开发进度——全新自研的手势追踪技术，已实现点、按、捏、拖拽、滑动等XR常用操作动作。该项技术除了用于新品NOLO SONIC 2之外，还将开放对外开发合作。

NOLO技术团队凭借人工智能的深度学习技术，借助真实手部图像和3D生成手部图像进行数据融合训练，用数百万张手部图像训练了一个专门的深度神经网络，其中手腕和手指拥有3D空间位姿；由此生成的手势数据通过GSXR协议传输到3D图形引擎渲染，再显示到VR眼镜中，最终达成了现实世界和VR世界的手势同步。

为了保证识别的实时性，NOLO的技术团队深度优化了网络结构，保障在骁龙XR2芯片上单帧识别速度在5ms以下；深度学习算法也通过动态提取多帧数据中的手势信息，提高了动作连贯性，以此达成流畅丝滑的识别效果。

手柄式操控方式源自家用主机游戏手柄，但VR高沉浸式的体验特点，让用户对手部操控方式的自然性有更高要求。NOLO的手势追踪方案在诸如点、按、选择、拖拽等操作方式上，完全可以替代手柄操控，且实际体感更直接自然；而在接入特定的游戏SDK后，手势识别将在VR体验上发挥更加重要的作用。

该手势追踪功能将配置在即将发售的新品NOLO SONIC2 VR一体机上。此外，NOLO对这一技术持开放交流合作的态度，希望共同为国内XR的技术发展添砖加瓦。

来源：NOLO

原文始发于微信公众号（艾邦VR产业资讯）：NOLO宣布全新自研手部追踪技术方案

为了促进产业上下游交流，艾邦也建有AR/VR产业链微信群，我们将邀请VR眼镜，头盔，光学元件，光波导，显示模组，特殊材料，设备厂商加入，欢迎识别下方二维码加入