产品与服务姿态检测
用普通摄像头追踪身体和头部,在设备本地运行。可用于游戏、展项和无障碍操作。
姿态检测,就是在摄像头的每一帧画面里,找出身体或脸上的关键点。关键点就是电脑在每一帧里都能再找到的固定位置。我们用它把动作变成操作:转一下头、抬一下手臂、原地跑步。普通摄像头就能用。它在设备本地的浏览器或应用里运行,视频不用离开这台机器。
我们已经把它用在自己的好几个项目里。「眼控·空战」是一款射击游戏,用转头和眨眼来操作,专门给手不方便的人玩。我们的互动终端里有「AI 体测」模式:画面只画骨架,给站姿和马步打分。还有一个模式:张开手臂扇动,大雁就飞得更快。有一个头部追踪演示:你的头一动,3D 画面就跟着变,屏幕看起来像一扇窗。还有一个跑步原型(早期试验版):用摄像头读出步频,再用它控制赛道视频的播放速度。
难点往往不在模型本身,而在周边的细节。人站着不动,关键点也会抖。摄像头启动可能很慢。参数也要按每个人来调。这些经验和解决办法,我们都在项目里记了下来。
包含什么
人体与头部追踪
用 MediaPipe 模型(现成的追踪模型),从普通摄像头追踪人体关键点或头的朝向。
本地运行
处理都在设备上的浏览器或应用里完成。我们的互动终端版本,断网也能运行。
把动作变成操作
把转头、眨眼、手臂动作或跑步的步子,变成游戏或应用里的操作。
只显示骨架
画面上只显示追踪到的骨架,不显示摄像头拍到的原画面。
按人校准
为每个人设定一个“中位”,也就是自然放松时的位置,再调好灵敏度。
鼠标键盘备用
摄像头用不了时,也能换一种方式继续用。
方案优势
已在实际项目中使用
头控游戏、带多个体感模式的互动终端、视差演示,都在用这套技术。视差演示就是:你的视角一动,画面跟着变。
为无障碍而设计
「眼控·空战」从一开始就是为手不方便的人设计的。眨眼确认和停留确认都可以调。停留确认,就是在一个地方停一会儿就算选中。
从设计上保护隐私
我们放在公共场所的互动终端不存人脸图像,也不识别是谁。游戏模式也不显示实时画面。
不只看截图
「眼控·空战」每次改动,都会跑自动测试,把所有关卡打一遍。因为有些 bug(程序错误)在截图里根本看不出来。
画面
案例
从一个小试点开始。
告诉我们要解决的事,我们先判断值不值得做。






