首页 科技

有了隔空手势识别,移动AR也能变得更好玩?

时间:2019-11-14 栏目:科技

Esther| 编纂

《精灵宝可梦Go》、《我的世界:地球》等LBS AR游戏看起来很好玩,尤其是将游戏中的小精灵或许沙盒方块以AR的形式叠加在真实情况中的弄法充沛有趣。不外并不是每一款LBS AR游戏都能持续抓住玩家的胃口,玩家们盼望更多立异,更多有趣的交互体式,这也是为什么Niantic新推出的《哈利波特:巫师联盟》反响远低于《精灵宝可梦Go》的原因之一。
当然,就今朝手艺来讲,即使是在游戏中到场更多手势斗争弄法、到场建造功能,它们也只能局限于手机屏幕这个界面中,某种水平上反而会损坏AR的沉浸感。打个譬喻,今朝3D衬着手艺已经充沛好,叠加在真实情况中的3D AR图形能够做到相当真切的结果,这时候若是还能用手直接拿起它,是不是会比在屏幕上碰它感受更像真的?
布朗大学较量机科学的助理传授Jeff Huang透露:互着手势并不是一种令人写意的交互体式,因为在真实情况中,不管是扭门把手照样捡器材,用手去触碰是最直接和天然的交互体式,是以我们想到或许在移动AR应用中到场手势识别会比在手机屏幕上滑动结果更好。
为了索求这个问题的谜底,Huang向导布朗大学人机接口小组的12名科研人员研发了一种移动AR手势交互方案:Portal-ble,这是一个能够让手机用户用手去触碰AR物体的方案,将智妙手机屏幕变得仿佛是AR世界的进口,让你能够用手进行聚积木、摆放和扭转家具,甚至在空中绘画等把持。
其硬件方案包含一个Leap Motion手势识别模块、一个Intel较量模块(电脑棒)、一台智妙手机、一个5V 4A移动电源以及便携包和安装架。
而其道理并不难,其实就是用户一只手拿着手机来查察AR,而保持在手机上的Leap Motion红外光传感器会追踪另一只手,从而实现手势与AR交互。其优势在于不需要AR头显、追踪手套、摇杆、AR标记,用手和手机就能进行交互。
不外,将物理道理应用在手势交互上并不轻易,有时候用户轻易将手放错位置,甚至直接将手指插入AR物体中。为了达到最天然、真切的体验感,科研人员测验从交互感知(手触碰AR物体的天然感)、手势把持(成功抓取和扭转AR物体)、行为懂得(适应将智妙手机作为“窗口”来看AR这件事)这三方面来优化Portal-ble的交互和界面。
他们斥地了一系列义务来测试和认识用户的感知和行为纪律,接着在方案中到场感知反馈和调节适应机制。Huang透露:Portal-ble的交互体验感有点像是在Photoshop中画直线,尽管你很难画出完美的直线,然则法式会经由主动腻滑让你画出完美的直线,这也是我们进展在Portal-ble中实现的结果。
除了调节适应手势把持外,布朗大学的科研人员还到场了感知反馈机制,好比用点亮AR物体、手机振动等体式来提醒手势的交互。
关于优化实验
接下来,就一路来看看布朗大学科研人员的整个实验过程吧。
为认识Portal-ble方案的可行度,科研人员设计了一些体验原型,并记录了体验者对一些问题的反馈,好比:拾取远处物体的时候是否有难题,可否正确、舒适地与移动中的物体交互等,这些问题若是没有获得实际测试,是很难想象出谜底。
每位科研人员被要求设计内容操控和内容创作两种义务,前者指的是:选择、转化、直接掌握,好比扔飞镖、玩保龄球、堆方块、搬器材等。尔后者指的是一系列自由的手势,包罗在空中画方块、画直线、写名字等。此外,,每位科研人员需要离别招募两名介入者。
在悉数24名(12x2)介入者完成实验后,科研人员发现了三类问题:感知问题、把持问题和行为问题。
好比,个中有一多半人无法懂得本身的手与AR物体相对的空间位置。这首要施展在两个方面:1,难以估量本身与AR物体之间的距离,甚至够不到远处的物体;2,不确定手该伸到多远能碰着AR物体,是以在画画的时候笔触轻易接不上。
而把持上的问题则包罗:捡不起器材、AR物体不小心掉下去,相当影响体验感。此外,手势跟踪的噪波会影响手势识其余正确性,并且天然的抓取手势结果并不太好。发生这些问题的原因或者有三个:手指不小心脱离可识别区域、遮挡问题、四周情况光影响红外光识别。
行为问题方面,指的是介入者贫乏对徒手直接交互的把持体式的心智模型。为了熟悉AR物体的深度,一些介入者会经由移动智妙手机,一只手固定手机,一只手移动,或许同时合营手机和手的体式来测量。然则这些动作平日会造成介入者的手移动到无法追踪的区域,让义务加倍难以完成。
此外,介入者们也难以区分交互过程中的状况,有时候已经抓到了AR物体,却会再一次做出抓取手势,有的人甚至不确定手中究竟有没有抓到器材。
为了优化这些问题,科研人员在Portal-ble中到场了三种适应机制:1,用线索去提醒空间距离之间的关系;2,提醒物体在四周;3,用体感反馈来示意默认、悬停和抓取状况。
他们使用的线索包罗视觉和声音两种,视觉指的是手在AR物体四周的时候,物体四周会显露绿色的概况线,抓取到物体之后,概况会酿成蓝色,以此来显露交互的状况。而声音则指的是,你的手在与AR物体分歧距离时,Portal-ble会发出分歧腔调的声音。科研人员照样用了一种光线投影的方式,避免了多个物体同时发作声音的状况。
体感反馈方面,科研人员采用了一种延迟在25ms内的体感反馈方案,并将它用于两种分歧的情形:展示交互状况的改变和虚拟物体之间的碰撞。这种体感反馈经由智妙手机的震动来实现,它会提醒你的另一只手是否已经碰着AR物体,或许两个物体之间进入相撞局限(好比将AR杯子放到桌面上会发生震动)。
为了降低用户完成义务的难度,科研人员还到场了适应机制,从新设计了碰撞识别构造,提高了系统的容错率,让你能够天然、快速完成义务。
而为了让用户适应与AR的交互,Portal-ble会经由测试认识用户的臂长,而且在用户手掌达到追踪极限时用视觉反馈来提醒。
Portal-ble方案降生
完成优化后,受查询者在随后的研究中反馈,Portal-ble的交互体验感和感官反馈大幅降低了义务的难度,而且加速和提高了交互的正确性,用户体验感也比之前更好。
研发人员进展Portal-ble可以成为艺术家、设计师、游戏斥地者们用于测试AR的对象。Huang透露:AR将成为一种精良的新交互模式,我们进展经由这种便携式手势交互方案,让用户不需要厚重的AR头显,就能随时随地体验优质的AR,同时也进展为他们供应一种与AR世界交互的天然体式。
不外今朝Portal-ble照样一个对照复杂的方案,对于通俗手机用户来讲使用起来对照复杂。将来,科研人员规划增加Portal-ble系统中支撑交互的AR物体,优化交互,并斥地全新的义务和内容,甚至进展简化整个方案,将它集成在手机中。
其实,谷歌Pixel 4、华为P30系列手机已经起头支撑隔白手势功能,将来手势识别也有望成为智妙手机的一种趋势。是以从Portal-ble实验中,我们也能够看到将来AR游戏、应用与手势识别连系的潜力,或许也能为《哈利波特:巫师联盟》中的Portal功能带来更有趣的弄法。
参考:
https://www.brown.edu/news/2019-10-16/augmented

(END)


 
   介绍阅读    





 
天天五分钟,轻松认识前沿科技。    
         —— 青亭网  
标签:

相关文章