两名90后研究生发明翻译臂环 能将手语转化成语音

栏目: 编程工具 · 发布时间: 6年前

内容简介:两名90后研究生发明翻译臂环 能将手语转化成语音

北京航空航天大学研究生王娜娜,清华大学研究生黄爽,历时两年,为失语者群体研究出一款直接将手语转化成语音的翻译臂环。应用后,可以实现失语者与普通人的流利对话。她们说,团队从没想过赚钱,只想帮失语者朋友解决沟通障碍。

两名90后研究生发明翻译臂环 能将手语转化成语音

相关新闻

90后女学霸研发手语翻译器 通过臂环捕捉肌电信号

演示者用手指向前方,又做出点赞的手势,“你好”的文字快速地反应在App“手音”的界面上。捕捉手部运动的肌电信号的是演示者手臂上的黑色臂环,看上去像跑步时用的护腕。

“手音”是一款针对失语者的小众产品,预计今年5月下旬上线。普通人可能难以想象这款产品的意义所在——手语是失语者彼此沟通的桥梁,但对于普通人来说是比所有外语都难的语言,“手音”将做润物细无声的沟通桥梁。

“手音”的创始人王娜娜和联合创始人黄爽原是北京航空航天大学2012级的学生,她们是同一个宿舍的闺蜜,两个充满活力的女生在2015年开始想为失语者做些什么。

在一次活动上,王娜娜认识了北京联合大学特殊教育学院毕业的失语者张权,并成了好朋友。因为王娜娜不会手语,这两位现实中的朋友相处更像网友,即便见面也往往会求助微信沟通。

回到宿舍,王娜娜把张权的故事告诉了黄爽。她们此后认识了更多的失语者,也愈发感到沟通的困难。“有时我觉得我说话是在 伤害 他们,一聊得开心就在想是不是忽略他们了,甚至有些自责。”王娜娜说。

两个善良的姑娘一直在想,张权是失语者中的幸运儿,不仅可以上学还有工作,更多的失语者因为沟通一直是社会的边缘人,她们假想:老板开会听不见,点外卖没办法和店家沟通,别人怎么能接纳他们?《新闻联播》有手语同步翻译,可其他直播节目如果没有字幕,失语者就永远无法享受它。

两名90后研究生发明翻译臂环 能将手语转化成语音

上网一查,数字更让两人咋舌:失语者(包含听障人士、脑中风患者、脑瘫患者和渐冻症患者)在中国的数量达到7000万人,占总人口的5%,这是一个非常庞大的数字。

两个人想起了参加“冯如杯”(冯如杯为北航校内学生学术科技作品竞赛)时的图像识别项目,当时这个项目获得了一等奖,或许可以用这种技术帮助失语者。王娜娜回忆:“我们感觉发现了一个没有人发现的需求,想成为第一个实现它的人,也让我们所学的知识有价值。”

于是,她俩着手研究手语翻译的可行性,开始查论文、做实验、写代码,用冯如杯一等奖奖金5万元作为启动资金行动起来。图像识别被否决了,因为不能随时携带摄像头;手套被否决了,因为太引人注意,最终确定了通过臂环捕捉肌电信号的方法。因为智能手表逐渐普及,失语者带着臂环看上去并不突兀。

产品一次次迭代,为的是要保护失语者的尊严。黄爽记得,她们做过“体验一天失语者”的活动。在便利店,因为结账时需要了解价格,失语者只能通过手机和店员沟通,时间稍长排在后面的人开始不耐烦地催促。“如果别人知道我是失语者可能会体谅,但不知道就会埋怨,越埋怨我越着急。”一些失语者不愿意别人称呼他们为“聋人”,自己会写成“龙人”。

确定研发方向后,关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性,最初只有两个人在录手语的数据,整天戴着臂环不停地做动作,黄爽开玩笑说:“练下去咱俩就要成为 麒麟臂 啦!”

“当你真正去帮助他们,他们就知道是为他们好,就会非常配合。”王娜娜说,为了保证数据的多样化,并且真正让失语者喜欢,她们后来联系了天津理工大学聋人工学院,合作进行数据采集和智能臂闭环开发,还与北京市朝阳区残联达成合作意向,为“手音”的产品服务化提供咨询、指导。张权也成了团队的顾问。

如今,“手音”涵盖了200个手语动作,为了保证精确度,每一个动作录制了1000人次。在有了自己的手势数据库之后,团队还搭建了一个7层BP神经网络(一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一)对数据速度进行训练,目前识别准确度已经达到95%。

直到去年8月,团队里只有王娜娜和黄爽两个人,后来其他人逐渐加入。他们没有办公室,开会都是“打游击战”,咖啡厅、餐厅、教室都被征用过,做研发都是在自己的实验室里,但王娜娜说:“我们一天都没有想过放弃。”后来,团队内有人因出国而退出,王娜娜在北航保研继续深造,黄爽保研至清华大学。两个女学霸没有因升学而放弃团队,继续坚定地吸引人才研发产品。

由女生主导的技术型创业团队很少见,两个人也经历了磨合。最初,黄爽遇到意见不同时会等着双方都冷静下来回宿舍再沟通。王娜娜告诉她,团队沟通对事不对人,要彼此敞开心扉,现在两个人可以为一件事辩论个“你死我活”,也能在达成一致意见后手挽手去吃吃喝喝。团队里还有其他技术人员,大家一起熬夜写代码的时候,两个女生也会偶尔化身为“程序员鼓励师”,一起为团队加油打气。

这两个分别出生于1994年、1995年的女生笑着说:“或许因为我们现在还没有走向社会,没有买房的苦恼和社会的压力,只是觉得我们所拥有的技术能够对社会有价值,能够真正帮助一些人,我们又有时间,那就做吧!”

她们关于未来有很多设想,“手音”可以实现面对面小聊和长时间对话的功能,未来还可以推出手语教学、手语字母和智能臂环闭环,解决手语教师缺乏等各种问题。此外,这种人工智能技术成熟后还可以应用在其他方面,例如可以教学钢琴的孩子更加准确地弹琴。

手语翻译臂环或全球责任创新挑战赛的冠军

国际在线5月2日消息,近日,清华大学、北京航空航天大学的90后创业团队为听障人士设计的手语翻译臂环,获得了由联合国开发计划署与中国互联网公司百度共同主办的“极 致未来”全球责任创新挑战赛的冠军。这一赛事共计收到2075份方案,其中有超过八成的作品出自中国各大高校的大学生之手。手语翻译臂环、疲劳驾驶的预测系统、垃圾自动识别系统、“蜘蛛侠”智能多功能六足机器人等十份方案,进入最后的总决赛,其中手语翻译臂环获得冠军。

(资料来源:央视新闻、国际在线、中国青年报)


以上所述就是小编给大家介绍的《两名90后研究生发明翻译臂环 能将手语转化成语音》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Transcending CSS

Transcending CSS

Andy Clarke、Molly E. Holzschlag / New Riders / November 15, 2006 / $49.99

As the Web evolves to incorporate new standards and the latest browsers offer new possibilities for creative design, the art of creating Web sites is also changing. Few Web designers are experienced p......一起来看看 《Transcending CSS》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

URL 编码/解码
URL 编码/解码

URL 编码/解码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具