较真 | 翻译脑电波,机器直接替你说话,最新研究让科幻成真

较真要点:

  • 1人类的语言系统极端复杂。简单来讲是,大脑意识发出电生理指令,肌肉和其他外周结构负责实施,最后发声的是声带和咽喉的空气振动。如果用现有技术捕捉大脑的语言电信号,再运用计算机将之破解并转换成语音,或许可以帮助失去说话能力的患者恢复这个能力。
  • 2美国加州大学旧金山分校的科学家们为此设计了两套计算机智能系统。一套用来捕捉人类说话时的脑电波信号,并进行分析,作为翻译系统;另一套用来学习人类说话时与发声有关的所有动作,并逆向推导出声音,作为模拟发声系统。当两套系统结合起来时,即可模拟人类说话。
  • 3无论是翻译脑电波,还是翻译“唇语”,实验的结果都很惊人。期待学者们能早日完成临床试验,帮助失去说话能力的人重获新声。

查证者:勿怪幸 | 日本东京大学外科博士

一、大脑语言中枢发出的电信号是人类说话的基础,如能破解,则为电脑模拟人说话提供了基础

语言是区分人类与动物的最大特征之一。

人类的语言系统极端复杂。当人试图说话的时候,大脑首先会产生关于语言的脑电波活动,然后再将这个复杂的脑电波通过神经元的电生理活动,传达给与说话有关的器官组织——咽喉、口腔、鼻腔里的肌肉和筋膜,而后这些组织再通过复杂但协调的收缩舒张运动带动声带震动,声音就会发出来了。

简单来讲,大脑意识发出电生理指令,肌肉和其他外周结构负责实施,最后发声的是声带和咽喉的空气振动。

有时候这一整套“流程”并没有被完整地“执行”。比如,有人在心里默念而不说出口,此时他大脑里的语言中枢也会产生相应的电信号,但是下游的肌肉活动被大脑抑制,因而不会发出声音。

再比如有些先天能说话,但因为后天患病而不能说话的人,他们的大脑仍有能力发出语言的指令,只是下游不能实施。

现有技术倒是能提供给这些患者通过计算机表达的基本能力,比如人机交互的文字输入,但这样的系统既不准确,效率也极低。所以,有没有可能用现有技术捕捉大脑的语言电信号,通过计算机破解这些电信号的密码,再运用计算机的计算能力转换成语音呢?

这样的话,那些失去说话能力的患者是不是就可以恢复说话能力了?进一步的话,聋哑人是不是能通过计算机系统发出声音,说出自己的心里话?甚至再进一步假想,如果这个系统成熟,那些人脑中的默念也能被解码的话,心里话(应该是脑里话)将不再是外人无法知道的秘密了?这完全是科幻的世界了。

二、用电极捕捉脑电波信号,并用计算机进行分析,作为翻译系统;用计算机学习人类说话时与发声有关的所有动作,并逆向推导出声音,作为模拟发声系统;当两套系统结合起来时,即可模拟人类说话

美国加州大学旧金山校的科学家们做了一个石破天惊的尝试。

该论文发表在《自然》杂志的2019年4月24日刊上。作者是该校Edward Chang博士领导的实验室的Anumanchipalli博士和研究生Chartier。

实验是怎么做的呢?

他们设计了两套计算机智能系统。

一套用来捕捉人类说话时脑中微妙的脑电波信号。比如说“你好”这个词之所以会被人听到,是因为人类大脑的语言中枢先发出指令,要求声带肌肉发出“你好”这个声音。这个指令,即脑电波信号是可以通过电极捕捉记录的。不同的词语来自于不同的大脑电波信号。这套计算机系统负责捕捉、记录、分析这些信号。

他们找来住院接受治疗的癫痫患者志愿者进行实验。因为这些患者为接受癫痫治疗,已在大脑皮层中植入了电极,正好为捕捉脑电波信号提供了物理条件。志愿者们被要求朗声阅读一些经典书籍的段落,计算机会记录下他们朗读时的脑电波信号,并根据读不同词语时的不同脑电波信号,进行适配翻译。比如说“你好”是A信号,说“下雨了”是B信号。这些都记录下来,为之后的实验翻译电信号做好前期工作。

第二套系统是通过对志愿者说话时,咽喉、口腔、鼻腔的肌肉、筋膜的细微动作进行分析,来确认发出特定的声音需要进行哪些微妙动作。比如说“早上好”需要用的肌肉动作、轻重缓急,和说“恭喜发财”的时候肯定是不一样的。这些细微的不同都会被计算机系统记录下来,并进行分析。然后再逆向推算,就大致能知道说特定词汇需要进行哪些动作,比如唇齿如何分合、鼻腔如何出气、声带如何震动等等。有了这些数据,就可以做出一套虚拟的口腔肌肉声带系统,模拟人类发声。

(实验示意图)

两套系统结合,将之前志愿者朗读时记录的脑电信号记录再输送给计算机系统。计算机在接受到这些电信号之后,根据之前学习到的规则,分析出这些信号所代表的语句,再指令虚拟的口腔系统,做出与人类相近似的肌肉收缩震动的模拟动作,最终通过计算机发出声音。这样就完成了一整套虚拟的人类的语言系统。

简单来说,就是记录人类说话时候的脑电信号,学习这些脑电信号发出后哪些肌肉参与的发声动作,再让计算机根据这些电信号模拟说话。

三、无论是翻译脑电波,还是翻译“唇语”,实验的结果都很惊人,期待早日完成临床试验,帮助失去说话能力的人重获新声

笔者听了下该论文附带的计算机模拟说话的音频记录。

原始的志愿者说的每一句话被记录下来的电信号,都被计算机很好地翻译了出来,并且计算机模拟的人类说话声音非常清晰。换句话说,人类说话的脑电信号被计算机准确地翻译,并且通过模拟的发声系统读了出来。

科学家们将这些计算机说出来的话,让其他志愿者来听,结果计算机虚拟的说话语音超过一半都能被志愿者正确地听懂。也就是说,计算机翻译后说出来的话真地做到了人机交流!

这是个很了不起的进步!

想象一下,一旦这个系统成熟,只需要通过脑电极记录一个人脑中默念而产生的电信号,计算机就能替他说出他想说的话。如果是一个因病无法说话的人,有了这套系统就等于获得再次说话和与人交流的能力了。

再进一步,这几个科学家不再把提前记录的人类声音作为给计算机训练的“教材”,而是直接通过提供虚拟的电信号让计算机合成人类的说话语音。结果也很惊人。

一位志愿者只是做出了不发声音的唇语,计算机也成功地翻译出了他心里默念的词汇,而且发出的声音与这个志愿者真实的声音很相似。虽然计算机说的话还不能做到跟真人一样那么清晰和抑扬顿挫,但足够辨别出所说的意思了。

这个实验的结果非常鼓舞人心。因为这是计算机第一次成功地显示,计算机仅翻译脑电波就能用虚拟人声说出完整的语句,而且词能达意。

他们下一步的计划是针对失去语言能力的患者进行临床实验,测试这两套系统是否能帮助失去说话能力的人重新通过计算机快速准确地发出久违的声音。

让我们拭目以待!

本文编辑:zolazhang

(还有更多科学问题想了解?微信搜索“较真辟谣神器”小程序,点击“问答”,向较真妹提问,靠谱知识一秒送达~)

参考文献:

Anumanchipalli et al. Speech synthesis from neural decoding of spoken sentences. Nature. volume 568, pages493–498 (2019).

版权声明:本文系腾讯较真独家稿件,未经授权,禁止转载。欢迎转发至朋友圈。