作者:Jun Chen 来源:《自然—电子学》 发布时间:2020/7/26 22:10:56
选择字号:
智能手套让手“说话”

 

世界总人口中,大约有15%的残障人士,其中2%至4%的人面临严重的功能性障碍。如何用科技改善他们的生活是热门的科研攻关议题。

近日,美国加州大学洛杉矶分校(UCLA)研发出一款手语识别手套。用户戴上手套后,可通过手机App将手语即时转化成语音,借此可与不懂手语的人进行沟通。该手套识别准确率达98.63%,比其他手势识别手套更舒适、体积更小、成本更低。除了进行手语交流,该手套还可作为输入装置用于医疗、虚拟现实(VR)等领域。相关研究结果已发表于《自然—电子学》。

设备研发难

当前,手语识别技术主要有两大类,一类是基于可穿戴设备的手势识别技术,包括数据手套、智能手环等;另一类是基于计算机视觉算法的手势识别技术。

这两类技术都不够完美。北京联合大学特殊教育学院讲师关忠介绍,第一类技术识别率较高,但需要额外的设备,成本高且较难普及。第二类技术不需要额外的设备或设备成本较低,但基于现有视觉算法,导致识别准确率较低,还需要进一步研发。

手语识别手套能够感知手部动作的关键在于传感器。关忠长期从事手语识别研究,据他介绍,手语识别手套一般内置弯曲压力传感器、表面肌电传感器、陀螺仪和加速器等传感器设备。

具体来说,弯曲压力传感器由柔性电路板、力敏元件、弹性封装材料等组成,主要感知手指和手掌的弯曲程度;表面肌电传感器附着在手部肌肉表面,通过电极引导获取手部神经肌肉系统活动时的生物电信号;陀螺仪用于感知手语手势的方向和角度;加速器用于感知连续手语动作时的快慢程度。

除此之外,手语识别手套一般还配有无线传输设备,如蓝牙,用于把获取的数据快速传递给数据处理芯片。

看似简单的过程却因为手部丰富多样的动作困难重重。“手语识别手套的技术难点主要是,如何通过内置设备获取手指和手掌的弯曲度、位置、手势速度、手势方向等数据,并通过何种算法识别出手势所表示的含义。”关忠告诉《中国科学报》。

用户体验差也是阻碍手语识别手套发展的原因之一。“一些使用者认为戴着手套打手语并不方便,尤其是可能会影响做出个别手语手势。此外,携带不方便、手套尺寸与人手不适配等也是研究人员必须面对的问题。”关忠说。

除用户体验,成本也是压在手套上的“大山”。清华大学计算机科学与技术系教授孙富春介绍,传感器的大量应用提高了识别精度的同时,也增加了成本。“我们研发的相似类型产品的成本达到数万元,阻碍了其大规模应用。提高精度、降低成本、小型化仍是研发的主要目标。”孙富春说。

在论文中,UCLA助理教授Jun Chen说,该原型手套比其他设计更舒适、更小巧,并且这些零件的成本仅为50美元左右,在大规模生产时成本有望更低。

精度提升难

事实上,提高识别准确率并不容易。中国科学院重庆绿色智能技术研究院工程师彭敏表示,准确捕捉手势动作意味着排除噪声的干扰,如出汗情况下能否准确采集、能否排除无意图的肢体动作等。“表达者的手势动作也可能并没有那么规范、标准,如何准确进行理解也是手语识别手套研发的难点之一。”彭敏说。

由于生活习惯、民族文化等差异,不同人使用相同手势的意图也不尽相同,“甚至表达的是完全相反的意思。” 孙富春说,“如何将同一意图的手势翻译成不同语种也是研究难题。”

同济大学电子与信息工程学院副教授王睿进一步表示,如何将复杂、连续的手语翻译成长句子一直是技术难点。中国的手语大约有5000多个词汇,如果用连续手语表达复杂句子,涉及到语义理解,会相对较为困难。

Jun Chen等研究人员借助一层薄而且可延伸的传感器,增加面部信息感知,使手势识别手套能够以每秒一个字的速度,实现660种手语的翻译,精度高达98.63%。

彭敏认为,增加面部信息感知对把握手势的情感倾向有较大帮助,但局限性也比较明显。“情感表达是一个复杂的过程,人的语言、情感并不一定都通过面部表情表达,某些时候面部表情可能失效。”彭敏说。

关忠也表示,增加面部信息感知功能,在一定程度上可以提高手语识别手套的准确率。但由于面部表情的复杂性和获取技术的局限性,如果面部信息获取不完整或错误,反而会大大降低识别率。

应用需跨越逻辑障碍

20世纪八九十年代,手语识别手套就已经形成雏形。经过近40年的发展,其识别的准确率逐渐提高。但与预期不同,手语识别手套并未让“手语—口语”交流成为常态。

有观点认为,手语识别手套面临严重的逻辑问题,其只解决了单向问题,即聋哑人的语言输出,还无法将语音翻译成手语,不能形成一个完整的交流闭环。

关忠表示,手语翻译为文字或语音,与文字、语音翻译成手语,是两种完全不同的技术路线。一般手语翻译手套只能将手势翻译成语音、文本等。与之相对,语音翻译为手语的实现方式主要有两个,一是使用仿生学的机器人,设计非常复杂、成本高;二是使用计算机的虚拟人技术,目前以虚拟手语主播的应用最为广泛。

这是否意味着手语识别手套的应用存在逻辑障碍呢?UCLA的研究人员指出,该手套也可以作为一种教育工具,帮助更多人学习手语。

“手语的手势种类非常多,如果手套能够较好地识别出手语手势,那么其在其他领域,比如医疗、VR等,也有非常好的应用前景。”关忠说。

王睿也认为,手势识别手套的应用领域较多。不过,在医疗中大规模应用的前提是,保证绝对的可靠性和较高准确率;在VR应用中,则可用于VR教学,使教师能够通过手势调整所展示的作品的角度等,提升教学效果。(来源:中国科学报 卜叶)

相关论文信息:https://doi.org/10.1038/s41928-020-0428-6

 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
中国超重元素研究加速器装置刷新纪录 彩色油菜花又添7色!总花色达70种
考研复试,导师心仪这样的学生! 地球刚刚经历最热2月
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文