锋时互动张硕:智能电视从交互开始
流媒体网| 2015-11-06

  【流媒体网】消息:市场调研公司JupiterResearch的数据显示,全球智能家居市场预计2017年将达到600亿美元,并预测2018年中国智能家居市场规模将达到1396亿元。人们也都希望在工作了一天回到家后,空调能自动调节舒适的温度,灯光能自动亮起,厨房能自动开始工作。如此美好生活,将何时能到来?

  10月15日,大咖们在流媒体网主办的“产业互联,+法论道”的分论坛“智慧家 智能生活”上纷纷发表了自己的真知灼见,让智能生活尽快到来。

  会上,天津锋时互动科技有限公司联合创始人张硕发表了题为《智能电视从交互开始》的演讲,以下为演讲全文。  

  锋时互动在手势识别领域的成就

  大家好,我来自锋时互动,天津是我们公司创业之初的注册地,现在公司运转主要依托于北京和深圳的分公司,深圳负责硬件生产,北京负责行业解决方案,形成两地互动的局面。

  锋时互动是专注于做体感交互的智能硬件厂商,专注于人机交互,在这个领域已经做了很长时间。我们从2009年就开始专注于机器人视觉,当时手握三大方向,第一个方向是人脸识别,也就是后来的微软Face++的团队,所谓的刷脸支付业务;第二个方向是虹膜追踪,那时虹膜追踪体感技术相对成熟,特别是应用医疗领域,服务高位截瘫的人士,身体只有眼球可以转的时候,可以通过虹膜操纵表达自己的意图;第三个方向是当时技术领域最困难的方向——手势识别,也就是我们走的这条路,因为我们认为从长期的进化来讲,手是天生用来使用工具、传达操作意图的,在体感领域之中,如果我们可以能够更准的捕捉,并且表达出手的操作意图,那么我们势必会大大超越之前的以运动、健康为主题的体感操作方式。

  微动是我们核心算法的结晶,手势动作捕捉控制器可以精准的跟踪手部整体的姿态,有丰富的手势指令集合。

  在我们应用中心的菜单界面中,手掌的左右挥动可以翻页,单指在一个按纽上悬停或点击时,可以触发控健按纽。微动可以完全地呈现手部的所有的骨骼节点,更便于实现在虚拟现实和增强现实环境中的手势控制,整套算法是独立研发的。我们还针对时下比较流行的卡牌类的游戏、跑酷类的游戏、射击类游戏等,推出自己的一套手势操控方式。

  图1界面是我们用智能盒子做的小样。我们的产品是一个小型的体感控制器,其实体感并不是一个新的东西,2006年左右的时候,包括微软也好,他们都相继推出了4G的体感交互方案,但是这种交互方案或多或少都会有一些缺陷,不是需要手里面拿着传感器或者手柄,就是需要人处在电视机前一个特定的空间范围中。我们一直致力于解决这些问题,把产品定义为第一款可以支持安卓系统的体感传感器,可以嵌入到现在的摇控器之中。作为一个可嵌入摇控器的设备,它所要达到的第一步,就是能够完成现有电视机UI界面的操作,在图1界面中可以通过手掌五指张开的挥动,来实现左右翻页。  

  图1

  我们会在界面底部标注一些手势图标注解(如图2),用户可以通过特定的手势,来调整电视机的亮度和音量等,通过这样的设计,可以大大降低电视机菜单选择里面UI设计的层级,这样能够显著优化用户体验,目前整套设备是支持16种静态手势和多种动态手势。  

  图2

  当然对于现有的UI,并不能满足我们的需求,真正所要做的是希望把手部影像投影到电视机屏幕上去(如图3),用户使用的时候,可以通过手部的影像,感知他的手与操作目标之间的空间物理关系,这样可以挥动手抓取屏幕上的物体,进行一些抓取,拖拽,甚至是类似Ipad上的一些手势操作,通过这样的习惯培养,来培养大屏幕用户操作习惯。针对这个,我们想做主打3到12岁的教育软件,通过互动教育,推动一个范围很小但需求很大的市场,打开整个IPTV和OTT生态的大门。  

  图3

  手势交互技术细节

  微动手势动作捕捉控制器可以识别手部23个骨骼节点并提供三维定位,以及双手手掌的掌心朝向、左右手分割、整个手在挥动摆动的动作,都是可以识别出来的。

  图4是我们支持的部分静态手势和动态手势,例如其中电话的手势,会经常地应用在车载的后装的控制器之中,当用户在驾驶过程中有来电,可以保持视线不偏离前方路况的同时,对汽车的中控系统摆出一个电话的手势即可接听电话。微动会记录用户的手在识别范围之内,一定时间内的动作顺序,通过这些顺序,可以完成模拟鼠标的单击、双击,甚至右键这样的操作。在平板上,用户更习惯按住一个图标或物体拖动,映射到手势操控中就是用手抓住它进行平移,然后再进行释放,我们也对此类操作习惯进行了匹配。  

  图4

  我们的产品,感应角度是120度,识别范围是40厘米,把这样的产品嵌入到摇控器之中,可以很方便的摆在茶几上,或者是放在沙发旁边,抬起手来进行操作,精度达到了工业级别的4号级别,反应延时是10毫秒,基本上感受不到,最大的延时是WIFI和蓝牙数据传输的过程。

  微动最大的特点是不需要穿戴任何设备,其他的同类产品,至少需要在手上戴上一枚戒指,或者是穿一个数据手套,再者是佩戴一个9轴的传感器等。而我们是完全通过光学追踪手势,使用前无需校准。之所以推出针对安卓的体感设备,是因为所有关于体感的计算,关于手势识别的计算,都是在我们设备内部的芯片中完成的,随着算法的逐渐完成,随着产业需求的更加明确,未来会把这套算法做成一款芯片。  

  图5

  现在产品的应用场景主要分为四大方向,在传统行业中,PC、智能TV、汽车电子,是我们主攻的三大方向;对于新兴市场,我们主攻虚拟现实市场的交互。当用户戴上虚拟现实头盔时,无法看到外界环境,这时候只能凭借着记忆来操控鼠标、键盘或其他控制器。如果在这样的场景之下,可以让用户在虚拟现实环境中看到自己手部的位置,直接通过自己真实的双手与虚拟现实中的物体发生触控,这是一个很直接的交互方式。微动在今年推出了轨迹输入的技术,不同于像汉王电子笔这样的传统手写方式,用户在3D空间中书写的过程中,手势轨迹是不会断开的,俗称一字笔,是一口气不间断地写下来的,我们通过机器学习的算法,与大量的采集样例进行比对,不断提升匹配的方式,目前为止已经实现了0到9十个阿拉伯数字的手写输入,是相对稳定的,可以想象一下未来,如果针对频道市场,如果想电视上换一个频道的话,是否空中可以直接写出频道的数字,来完成这样的交互方式呢?

  图6展示的是在虚拟识别中,可以看到真实双手的影像,这种是现实增强与虚拟现实技术的一个叠加,我们会通过用户看不到的一个23个骨骼节点的碰撞刚体,来跟踪手势影像,整个DEMO,使用者可以通过双手触摸前面彩色的网,实现刚体的碰撞,这个网会给用户的交互产生一种反馈。现在的许多头盔厂商,可以通过微动模组补充其欠缺的交互核心技术,还可以通过安装在头盔前面的微动传感器,可以检测出使用者头部6个自由度的平移、旋转等数据信息。 

  图6

  锋时互动从2011年的时候开始走上产品探索、产品研发的道路,历经6个版本,才研制出了微动这样一款传感器。希望能够借此次机会,可以和更多的CP厂商,或者OTT的智能硬件的生产厂商,寻求一定范围内的合作,共同在交互的层面上,寻求突破。但是整个交互的突破,实际上是一个很虚幻飘渺的东西,因为交互是需要内容来承载的,而产生价值的,往往是内容,而不是交互方式,但是随着电子产品的不断的发展,交互在整个智能产业链价值中占的比重越来越大,回顾一下最近最重大的一次交互变革,很可能是我们使用的手机,从当初的按键式手机,变成乔布斯推出的电容式的触摸屏手机,起初是最基础的交互变革,后来通过像《愤怒的小鸟》、《神庙逃亡》这一系列的游戏来迅速扩大了用户群数量。我们现在也希望能够在OTT和IPTV的领域,通过我们的交互变革,来和CP厂商联手,共同去创造未来整个行业的生态。

  点击查看深圳论道全部演讲嘉宾内容:http://meeting.lmtw.com/iptvott.html

责任编辑:lmtwadmin

分享到:
版权声明:凡注明来源“流媒体网”的文章,版权均属流媒体网所有,转载需注明出处。非本站出处的文章为转载,观点供业内参考,不代表本站观点。文中图片均来源于网络收集整理,仅供学习交流,版权归原作者所有。如涉及侵权,请及时联系我们删除!