blog

用手势引导自主平面的新软件

<p>麻省理工学院的工程师使用的算法可以推断出身体位置和受试者手的形状,他们正致力于开发软件,最终可以帮助航空母舰机组人员在飞行甲板上引导自主飞机,同时使用普通的手势飞机机组人员使用一套用于引导飞机在载体甲板上的标准手势但随着机器人飞机越来越多地用于常规空中任务,麻省理工学院的研究人员正在开发一种系统,使他们能够遵循相同类型的手势</p><p>解释手势的问题有两个截然不同第一部分是从数字图像中简单地推断信号的身体姿势:手是向上还是向下,肘部是进出还是向外</p><p>第二个是确定在一系列图像中描绘了哪个特定手势麻省理工学院的研究人员主要关注第二个问题;他们在3月份的交互式智能系统ACM交易期刊中提出了解决方案但是为了测试他们的方法,他们还必须解决他们在去年的IEEE自动面部和手势识别国际会议上所做的工作中遇到的第一个问题</p><p>耶鲁大学是麻省理工学院电气工程与计算机科学系的博士生,他的顾问是计算机科学教授Randall Davis,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究科学家David Demirdjian录制了一系列视频</p><p>几个不同的人进行了一组飞机载人甲板人员常用的24个手势为了测试他们的手势识别系统,他们首先必须确定每个视频帧中每个主体的身体姿势“这些天你可以很容易使用现成的Kinect或许多其他驱动程序,“Song说,指的是流行的Microsoft Xbox设备t允许玩家使用手势控制视频游戏但麻省理工学院的研究人员开始他们的项目时却不是这样</p><p>为了使事情变得更加复杂,他们的算法不仅要推断身体位置,还要推断受试者手的形状</p><p>麻省理工学院研究人员的软件仅用几个变量来表示每帧视频的内容:三维数据肘部和手腕的位置,以及手是否打开或关闭,拇指向上或向下研究人员存储这些抽象表示序列的数据库是去年论文的主题</p><p>对于新论文,他们使用该数据库来训练他们的手势分类算法Song解释说,对信号进行分类的主要挑战是输入 - 身体位置的顺序 - 是连续的:航空母舰甲板上的船员是恒定运动的</p><p>然而,对他们的手势进行分类的算法,不能等到他们停止移动开始分析“我们不能只给它数千帧,因为它将需要永远,”宋说研究人员的算法因此适用于一系列短的身体姿势序列;每个大约60帧长,或相当于大约三秒的视频序列重叠:第二个序列可能从第一个序列的第10帧开始,第二个序列可能从第二个序列的第10帧开始,依此类推问题是没有一个序列可能包含足够的信息来确定地识别手势,并且新的手势可以在帧的中间开始对于序列中的每个帧,算法计算它属于24个手势中的每一个的概率然后它计算整个序列概率的加权平均值手势识别基于几个连续序列的加权平均值,这提高了准确性,因为平均值保留了每个帧如何与其前后相关的信息在评估连续的集体概率时序列,该算法还假设手势不会变化太快或太不稳定在测试中,研究人员的算法更正tly确定了在训练数据库中收集的手势,准确率为76%显然,对于甲板人员和数百万美元的设备依赖于他们的安全而言,这不是一个足够高的百分比,但是宋认为他知道如何增加系统的准确性 训练分类算法的部分困难在于它必须考虑到它所呈现的每个姿势的许多可能性:对于每个手臂位置,有四个可能的手部位置,并且对于每个手部位置,有六个可能的手臂位置在正在进行的工作中研究人员正在对算法进行重组,以便分别考虑手臂位置和手部位置,从而大大减少其任务的计算复杂性</p><p>因此,它应该学会更有效地从训练数据中识别手势Philip Cohen,co Adapx是一家研究依赖自然表达手段(如手写和语音)的计算机界面的公司,研究的创始人兼执行副总裁表示,麻省理工学院研究人员的新论文提供了“基于模型的新颖扩展和组合”和使用计算机视觉和机器学习进行身体和手部跟踪的基于外观的手势识别技术“”Th这一结果非常重要,预示着下一阶段的研究,将基于视觉的手势识别技术整合到多模式人机交互技术和人机交互技术中,“科恩说来源:麻省理工学院新闻办公室Larry Hardesty图片:

查看所有