除了手势控制弊端之外，对于虚拟现实尴尬的事情之一莫过于你看不见自己的手。当你戴上虚拟现实设备之后，你置身于一个看似无比真实的世界，让你感到身临其境，但当你伸手试图抓取眼前某物或是想够到某物的时候，那里确实什么都不存在，这瞬间将营造的气氛给打破了。
一支微软研发小组希望通过名为Handpose的手势追踪技术，能够帮助人类与虚拟环境的交互更加自然，且不于VR或者AR领域，甚至是人与计算机或者其他连接设备之间的交互。
在位于英国剑桥的微软研究院，设计技术员David Sweeney告诉记者：“现实始于我们与物理世界的交互，而交互的主要途径是我们的双手。这是我们习以为常的认知，我们甚至不去思考这个动作，一切都是出于人的直觉。”
Handpose项目开始于2014年，这一项目的计算机视觉进展于今年早些时候被揭开面纱，由于该项目还在研究阶段，因此微软邀请记者到现场体验。
记者在现实世界中移动双手的时候能看到眼前屏幕上被同步复制的双手，能够通过现实的抓取来拿到Unity引擎所创造的虚拟物件。Sweeney总结道：“这一项目通过获取现实中的深度信息进而映射出双手。”这跟Leap Motion有相似的设计思路。
Kinect传感器捕获深度信息，Handpose软件将信息转换成数据点阵，从而还原出手的网状模型（有多种不同的模型用于适应不同大小的手）。本质上来说，每一个数据点被定位到手形模型表面，因此它能够模拟出与你现实中手如出一辙的动作。它还通过机器学习来使得模拟运动转换成实际的动作。
当记者使用该技术的时候，遇到了一些相当严重的错误，比如当传感器前有不止一个人的时候或是记者试图让双手靠近的时候。但正常使用过程中，手的每一个细节都被很完美地捕捉并映射在屏幕上了。在这里有一个手势追踪的主要难题：我们的双手由很多可移动部分组成，每一个细小的移动都该被视为一个自然的动作。
这项技术使VR更加拟真。视频中记者使用Oculus Rift头戴设备配合Handpose技术，可以看到自己的双手戳拽一只兔子，使其像万用黏土一样塌陷了，这类似于一系列虚拟控制器模拟按键所产生的交互信息。
相比于触觉设备如Oculus Touch或是HTC Vive控制器，使用自己双手的优势在于一切移动都是凭借直觉，哪怕从未接触过虚拟现实的人也能轻松上手。
Sweeney说到：“人类的双手是通过上百万年进化而来的，它们是如此精妙，假如让装电池的设备取代人类的双手，这该是多愚蠢的事情啊。”
有趣的是，Sweeney认为在你与虚拟现实交互的时候触觉反馈（能够感知你所触摸到的物体）是不需要的，哪怕游戏中有虚拟物理对象，像上面视频中的兔子演示，只存在虚拟现实中的反馈。Sweeney说：“在心理上，我能通过虚拟交互来‘感受到’物理层面的互动。”虽然听起来有些荒诞，但这一点在记者的实际体验中得到了验证。
Handpose团队对该项目的进展、速度以及效率感到自豪。该软件被设计成调用小化的计算资源，并且仅运行于CPU之上，因此你无需担心显卡无法驾驭创造出来的丰富的虚拟世界。
Sweeney还没办法明确说明该项目何时对公众开放。但是他暗示到软件将不仅仅运行于VR或AR设备，而是让你的双手可以作为“低功耗控制器”与任意物联网设备交互。想象一下，控制灯的开与关只需要用手轻轻一指，大概还需要与声音识别一块儿使用。