跳到主要内容

13. 手部识别

EGO1GS 可以在录制的同时识别画面中的左手和右手,并把识别结果作为一路独立数据一起录进 .mcap,采集时即可得到左右手的位置参考,便于现场确认取景和筛选数据。仅 EGO1GS 支持(需固件 v1.1.3 及以上),EGO1 不支持。

识别默认关闭。需要时在 App 里打开,不需要就关掉——关闭后识别不再运行,不占用设备算力。

它输出什么​

  • 每只手一个方框,并区分左右手。
  • 识别结果随画面一起录进 .mcap,与画面共用同一条时间轴。在 Foxglove 中打开 .mcap 回放时,方框会直接叠加在画面上(左手绿色、右手青色)。visio-display 仅在实时转发到 Foxglove 时显示方框。
  • 打开后,App 实时预览画面上也会画出手部方框(右目画面)。

怎么开关​

  • 手机 App 连接设备后,点设备页面右上角的齿轮进入「设备设置」,在「手部识别」中打开「识别画面中的手」。不支持该功能的设备(如 EGO1)或固件较旧时不显示此开关。
  • 开关是按设备记住的:打开之后一直有效,重启也不会复位,直到您再把它关掉。
  • 录制中也可以操作开关,无需停止录制:关闭立即生效;打开会等当前这段录制结束后才开始识别,不影响正在进行的录制。若设备无法启动识别,开关会自动变回关闭。

语音提示:手不在画面里​

打开手部识别后,录制过程中如果有手离开画面,设备会语音提示「左手不在画面中」「右手不在画面中」或「双手不在画面中」,方便采集人员及时调整头部朝向。只少一只手时提示一次(情况变化时再提示);双手都不在时会定期重复提示,直到手回到画面。未录制时不播报。音量与语言(中文 / 英文)沿用设备的语音提示设置。

使用建议​

  • 识别针对的是佩戴者自己的手,画面中他人的手不保证会被忽略。
  • 光线过暗、手被完全遮挡、或手只露出很小一部分时,可能识别不到——这属于正常情况,不影响录制本身。
  • 只在需要手部标注的采集任务里打开;普通录制保持关闭即可。

深入了解​

可用性​

手部识别自 EGO1GS 固件 1.1.3 起是标准功能,App 端开关自 App 1.1.3 起提供(预览叠加检测框自 App 1.0.7 起支持)。EGO1 没有此功能。检测器在头戴设备自带的神经网络加速器上运行——不经过云端,也不需要外接电脑;157° 的宽视场正是为了让双手在整个够取范围内都留在画面里,这是检测器有用的前提。识别精度、吞吐与算力占用的数据尚未发布,请把它当作采集时的质量辅助,不要用我们没有给出的数字来定验收标准。

数据格式​

/ego/camera/0/annotations 携带什么、如何叠加显示与在 Python 中读取,见 7.5 手部识别数据。