不开口就能说话,脑波直接转语音,实现每分钟150词

2019-05-17 15:23:11 来源: 孝感信息港

量子位 报道 | 公众号 QbitAI

只要静静坐着,世界就能听到你的声音,这样的画面你可曾想象过?

是的,不必动手,也不必开口,只要你的脑波流转,AI就能以每分钟150个词的速度帮你说出心声。

Nature上发表了一篇论文,科学家们设计了一种新的可以将大脑信号转换成语言的装置任天堂社长回应与腾讯合作:Switch短期内不会入华,不需要劳动任何一块肌肉,深度学习就能直接读懂大脑,解码脑中所想,实现流畅交流。

受渐冻症折磨的霍金后期依靠活动脸颊上的一块肌肉来打字

如何做到

研究团队来自加州大学旧金山分校,神经外科教授Dr. Edward Chang等人试图将大脑中的神经活动转换成语音,以造福因为神经损伤而失去交流能力的人。

说话这件事其实并没有想象中那么简单,看似只是动动嘴,事实上却是对声道咬合结构、快速的多维度控制。

研究人员选择了深度学习方法。

为了进行试验,专家们招募了五名在医院接受癫痫治疗的志愿者。

神经解码的步是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话,而通过植入性大脑皮层电图(ECoG),研究人员可以跟踪控制语言和发音的大脑区域的活动,并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来,然后将这些运动学特征翻译成口语句子。

研究人员采用bLSTM(bidi-rectional long short-term memory)循环神经网络来破译ECoG信号表达的运动学表征。

接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。

声学特征是能从语音波形中提取的频谱特征,因此用解码后的信号就可以合成出语音波形。

在这个过程中,两个神经网络都会被投喂训练数据,以提高它们的解码性能。

对比志愿者说话的频谱图和大脑信号合成的频谱图,可以安徽超能教育打造优质家庭教育品牌看到它们已经非常接近了。

研究者们让以英语为母语的人听了听合成的语音,结果表明,至少有70%的虚拟语言是可以被理解的。

有何提高

脑波转语音已经不是什么新鲜事了,这篇文章能登上Nature,自是有过人之处。

这个新的装置每分钟能生成 150 个单词,接近人类的自然语速。

要知道已有的语音合成脑机接口携手VANS VPS,一加7系列Pop_0每分钟只能生成 8 个单词,使用者也能用它们来表达自己的意思,但那远远称不上是“人类交流”。

想象一下,倘若霍金健在,在这种技术的帮助下,他可能再也不用艰难地活动脸颊上的带着“打”熊猫利器去成都,这次圆滚滚别想“静静”肌肉来拼出单词,AI能真正帮助他重新“开口”,传播智慧。

“这是一项艰巨的工作,它将我们推上了语言恢复方面的一个新台阶。”神经学家Dr. Anthony Ritaccio这样评办公应用公司Slack上市前宣布财年亏损1.41亿美元价。

网友反应

论文一出,惊叹声一片。

有网友称赞这是ECoG领域非常有价值的一个结果,并且也给三星确认正在研发屏下隐形相机传感器未来的实际应用打开了新的大门:

还有网友已经迫不及待地开始畅想未来:

如果将来这项技术能被放入耳机这样的可穿戴设备,那我们就能以快的速度在手机上打字了!这种可能性实在是鹅妹子嘤!

也有一些负面的声音:

我们总有法子让你开口的。

嗯…不过事实上这项技术只会在你想开口时捕捉相应的脑电波。

必须说明的是,这项技术使用的ECoG电极阵列需要通过开颅手术来放置到大脑之中,对于饱受疾病、意外之害而失去语言能力的患者来说是福音天降,但更大范围的应用还有很长的路要走。

传送门

论文链接:https://www.gwern.net/docs/ai/2019-anumanchipalli.pdf

—完—

订阅AI内参,获取AI行业资讯

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;

欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

喜欢就点「好看」吧 !

弃子趣店-流量靠山蚂蚁金服退出 -贵人-筹码全抛鸿海和硕等苹果代工厂律师称未与高通进行和解谈判今日头条意向收购锤子科技,三方同时洽购
本文标签: