谁说Kinect只是玩物？微软研究院使用它实现口语手语实时翻译

落了一季的雨

       摘要：中国大约有2000万人听力有问题，听力障碍的他们在生活中与人沟通便成了很困难的一件事。最近微软亚洲研究院的一项新研究——Kinect手语实时翻译，则给他们带来了福音，它能实时捕捉相关信息，并进行口语手语翻译。

       提到微软的Kinect体感设备，或许大多数人头脑里跳出的第一反应就是一个游戏外设，而最近微软研究院的一项最新研究则给Kinect赋予了更加有意义的功能：利用Kinect能够实时动态捕捉动作和声音，从而消除不同语言间的人们沟通时的障碍，哪怕他们无法听到声音。

       从国外一个对微软该研究团队的采访视频来看（视频请点击（需***）：这里），Kinect此时化身成了一个手语翻译器的研究模型，它可以把手语翻译成口语，当然反之也亦然，其中最棒的事情是——它是实时的。

       这有什么奥妙？工作原理是什么？首先是Kinect捕捉用户的手势动作，然后机器学习和图像识别模块帮助机器理解其中的含义，而Bing翻译就负责实际的翻译工作。

       这其中比较关键的过程是：3-D运动轨迹校准并将手语和单词逐一对应过程。这是如何进行的？微软亚洲研究学院在一篇博文中介绍称，当一个手语词汇被分析时，这些词语先通过Kinect for Windows SDK的手部动作轨迹生成，然后规范化，继而计算匹配分数，最后识别出最相关的候选。

       另外，3-D轨迹匹配的算法又为构建一个手语识别和翻译的系统创建了基础。这一系统包括两个模式。第一是翻译模式，将手语翻译成文本或者语音，包括对单词或单句的识别。第二是交流模式，通过使用虚拟形象使正常人和听障人士的沟通变成可能，以键盘输入的文本为引导，虚拟形象可以表现出相应的手语，而听障人士通过手语进行回应，系统会将其转换为文本进行回答。

       该系统在实际应用中能够捕捉到周围的交谈，比如一个正常人与一个失聪人交谈时，口语就会被Kinect捕捉到而转换成精确的视觉符号，然后视觉符号就能被转换成聋哑人能够理解的手语。其中值得一提的是，这一过程也是实时的。

听力障碍人之福

       目前这个研究小组只有5个人在做单词的识别模型工作，到目前为止，总共4000个中国手语词汇，仅添加了300个。从现下看，微软亚洲研究院的这项研究虽然仍有大量的工作要做，但这显然是一个巨大的成就。

       Kinect手语翻译项目的项目经理吴国斌（音译）指出，识别是这个项目中最具挑战的一部分，在尝试数据手套和网络摄像头之后，被选中的Kinect最后以明显优势胜出。

       吴国斌还表示，在中国有超过2000万人听力不好，而放眼到全球，这一数字则扩大到大约3.6亿人，如果他们的研究项目能够走出实验室，不仅能给全球经济带来繁荣，还能给这些人带来不一样的世界。

       原文来自：TNW

moriyasana

看看...............

该用户已被禁言

其他的我不多说，就说俩字：赢了！！

该用户已被禁言

这功能不错，只是不知道实际应用如何。看来K2还是有点用的，对弱势群体的人文关怀还不错

不灭的神

功能是很好的功能，不过前提是机翻的水平一定要跟上

zk5856

平衡业界了。。。果然他不是游戏机。。。。

即微软平板 手机后 x1继续点错天赋。。。

lws8891

赢了！！只有这个想法

syh1947

你不知道国内的哑语和国外是不一样的吗。。。。

subway35

499刀裏面這種我不需要的功能太多了啊。。。

新世界の卡密

业界良心