助听障人士“能说会道” 华工创业学生开发音书APP

来源:金羊网 作者:王倩 彭乐怡 发表时间:2018-09-06 09:58

image001.jpg

文/金羊网记者 王倩 实习生 彭乐怡

戴上海绵耳塞,再戴一副头戴式耳机,一个正常人的世界瞬间陷入了寂静。这时,如果你需要问路或者购物,就会陷入听不见又说不清的困境。近日,一场名为“听生活之音,书美丽人生——聋健共融公益梦想百分百”的公益活动在广州街头举行,吸引了现场数百人来体验听障人士的生活场景。

广州音书科技有限公司是一家从华南理工大学孵化出的创业公司,在华工就读研究生的陈国强和朋友石城川、彭驷庆共同创业,致力于通过人工智能技术,研发手机APP,帮助听障人士进行无障碍沟通,目前已经有20万的下载量,基本覆盖国内所有省市,在美国、韩国和日本均有用户。

打破听障人士的沟通障碍

在活动现场,工作人员帮体验者戴上静音耳机,然后体验三四个日常生活对话场景,比如问路和求职。体验者麦同学戴上耳机时,感觉一片安静,心里有些惊慌。她参与了“你说我猜”的游戏,工作人员做出几个手语动作,让麦同学猜测意思。简单的手语能够猜得出来,但复杂的就完全没有头绪了。“我大学期间有接触过听障人士,知道他们的困难,今天现场体验过才有了切身感受。”麦同学说。

听障人士无明显的外表特征,人们不易辨别。正因如此,这个占残疾人口三分之一的群体,很少得到社会的关注。现担任广东省聋人协会理事的石城川,本身就是一位听障人士。石城川表示,自己在上学期间,无论是和同学沟通还是上课听讲,都存在比较大的困难。上课的时候,石城川只能看老师板书和靠自己自学。

陈国强和石城川是暨南大学数学系本科同学。“听障人士平时很难表达自己,沟通效率比较低,所以大家可能不太愿意花时间去真正理解他们,走进他们的内心。”陈国强说,石城川经常都是独来独往,于是他便给予了更多的关心。慢慢地,陈国强通过石城川了解到听障人士的生活困难,萌生了帮助他们的想法。

沟通软件能识别方言

经过几年的努力,这款名为“音书”的手机APP问世了,包括无障碍沟通软件和智能字幕速记系统等,既可以将语音快速翻译成文字,也可以将文字转换成语音,便于听障人士和健听人士的沟通。同时,软件里还有聊天房间、字幕视频等功能,让听障人士在工作、开会时可以实时沟通,也可以解决听障人士视频聊天无法获取聊天内容的问题。

“我们聋人协会平时开会都用聊天房间沟通,以前要靠手语翻译或速记员,现在软件就可以规避这些缺陷了。”石城川说。

据介绍,音书不仅是一款语音输入软件,它还有许多语音康复的训练,听障人士可以在软件上进行拼音、字词和文章的语音训练。彭驷庆表示,刚认识石城川的时候,他的普通话还说得不太准,现在进步许多了,完全能让人听懂。记者在采访石城川时,就是通过软件上的语音转换文字功能。

据悉,软件的识别准确率达到95%,软件还能选择方言,目前已经有七种方言上线,包括粤语、四川话、闽南话等。

智能字幕速记系统则是通过在手机软件上讲话,实时转换成文字,投放在屏幕上。与其他面向大众的语音转换系统不同的是,音书根据听障人士的特点,对软件进行了优化。“打个比方,我们平时说‘把西瓜放进冰箱里’,但通过手语表达同一句话,句子结构会不同,可能是‘冰箱、西瓜、放’这样的顺序。我们则根据这样的特点,转换成听障人士容易理解的句子。”目前,该系统已在许多的机构和残障技术学校中应用,北京联合大学也提出了合作。

编辑:Nancy
数字报

助听障人士“能说会道” 华工创业学生开发音书APP

金羊网  作者:王倩 彭乐怡  2018-09-06

image001.jpg

文/金羊网记者 王倩 实习生 彭乐怡

戴上海绵耳塞,再戴一副头戴式耳机,一个正常人的世界瞬间陷入了寂静。这时,如果你需要问路或者购物,就会陷入听不见又说不清的困境。近日,一场名为“听生活之音,书美丽人生——聋健共融公益梦想百分百”的公益活动在广州街头举行,吸引了现场数百人来体验听障人士的生活场景。

广州音书科技有限公司是一家从华南理工大学孵化出的创业公司,在华工就读研究生的陈国强和朋友石城川、彭驷庆共同创业,致力于通过人工智能技术,研发手机APP,帮助听障人士进行无障碍沟通,目前已经有20万的下载量,基本覆盖国内所有省市,在美国、韩国和日本均有用户。

打破听障人士的沟通障碍

在活动现场,工作人员帮体验者戴上静音耳机,然后体验三四个日常生活对话场景,比如问路和求职。体验者麦同学戴上耳机时,感觉一片安静,心里有些惊慌。她参与了“你说我猜”的游戏,工作人员做出几个手语动作,让麦同学猜测意思。简单的手语能够猜得出来,但复杂的就完全没有头绪了。“我大学期间有接触过听障人士,知道他们的困难,今天现场体验过才有了切身感受。”麦同学说。

听障人士无明显的外表特征,人们不易辨别。正因如此,这个占残疾人口三分之一的群体,很少得到社会的关注。现担任广东省聋人协会理事的石城川,本身就是一位听障人士。石城川表示,自己在上学期间,无论是和同学沟通还是上课听讲,都存在比较大的困难。上课的时候,石城川只能看老师板书和靠自己自学。

陈国强和石城川是暨南大学数学系本科同学。“听障人士平时很难表达自己,沟通效率比较低,所以大家可能不太愿意花时间去真正理解他们,走进他们的内心。”陈国强说,石城川经常都是独来独往,于是他便给予了更多的关心。慢慢地,陈国强通过石城川了解到听障人士的生活困难,萌生了帮助他们的想法。

沟通软件能识别方言

经过几年的努力,这款名为“音书”的手机APP问世了,包括无障碍沟通软件和智能字幕速记系统等,既可以将语音快速翻译成文字,也可以将文字转换成语音,便于听障人士和健听人士的沟通。同时,软件里还有聊天房间、字幕视频等功能,让听障人士在工作、开会时可以实时沟通,也可以解决听障人士视频聊天无法获取聊天内容的问题。

“我们聋人协会平时开会都用聊天房间沟通,以前要靠手语翻译或速记员,现在软件就可以规避这些缺陷了。”石城川说。

据介绍,音书不仅是一款语音输入软件,它还有许多语音康复的训练,听障人士可以在软件上进行拼音、字词和文章的语音训练。彭驷庆表示,刚认识石城川的时候,他的普通话还说得不太准,现在进步许多了,完全能让人听懂。记者在采访石城川时,就是通过软件上的语音转换文字功能。

据悉,软件的识别准确率达到95%,软件还能选择方言,目前已经有七种方言上线,包括粤语、四川话、闽南话等。

智能字幕速记系统则是通过在手机软件上讲话,实时转换成文字,投放在屏幕上。与其他面向大众的语音转换系统不同的是,音书根据听障人士的特点,对软件进行了优化。“打个比方,我们平时说‘把西瓜放进冰箱里’,但通过手语表达同一句话,句子结构会不同,可能是‘冰箱、西瓜、放’这样的顺序。我们则根据这样的特点,转换成听障人士容易理解的句子。”目前,该系统已在许多的机构和残障技术学校中应用,北京联合大学也提出了合作。

编辑:Nancy
新闻排行版