日记大全

日记大全 > 句子大全

科学家发明了一种“神经解码器”(可以将大脑活动转化为语言)

句子大全 2023-01-29 06:19:01
相关推荐

读心术机器的想法可能会让很多人感到震惊,但一种能将大脑活动转化为语言的新设备,可能是那些失去声音功能的病人走向生命线的第一步。

随着我们记录脑电波的能力不断提高,以及机器学习方法使解码过程变得越来越容易,寻找将我们的思想转换成机器可读信号的方法是一个蓬勃发展的研究领域。

最引人注目的用例之一是帮助那些因受伤或疾病而失声的人重新说话。很长一段时间,我们已经能够做到的最好的在这方面的著名物理学家斯蒂芬·霍金使用的设备,用户选择的字母或单词从屏幕使用运动的肌肉,他们仍然可以控制每分钟只有几句话。

但是现在,加州大学旧金山分校的科学家们已经证明了一种方法,可以将大脑记录的信号转换成可广泛理解的句子。

发表在《自然》杂志上的研究人员采用了一种新的方法来解决这个问题。他们并没有直接将大脑信号转换成声音,而是将其作为控制模拟声道运动的指令,然后用合成器将这些运动转换成语音。

这项研究是在癫痫患者的大脑中植入电极来监测癫痫发作的情况下进行的。研究人员让5名志愿者大声朗读几百句话,同时记录他们在讲话过程中控制动作的区域的音频和神经活动。

培训系统是一个多阶段的过程。首先,研究人员使用之前发表的一个模型来处理音频,该模型推断出产生声音的嘴唇、舌头或下巴的物理运动。

然后根据该模型的输出训练一个神经网络,患者的神经记录有效地为每个参与者创建了一个虚拟的声道,可以将他们的大脑信号映射到言语活动中。然后,他们训练第二个神经网络对语音和第一个神经网络的输出进行训练,以了解每组动作对应的声音。

结果是一个神经解码器,它可以接收连续的大脑信号,将它们转换成虚拟声道中的物理运动,然后解码这些运动,创造出与语音大致匹配的合成句子。

这个系统并不完美。为了测试这种方法的准确性,研究人员让来自亚马逊土耳其机械公司(Amazon Mechanical Turk)的众包工人来评估输出结果,但即使让他们从仅有的25个单词中选择,他们成功地转录出完整句子的时间也不到一半。然而,大约70%的单词是可理解的,这比目标受众目前能理解的0 %的单词要好得多。

目前最大的限制是,这些测试针对的是那些没有语言障碍的人。研究小组让一名参与者在不说话的情况下通过移动嘴巴来模仿句子,结果显示,解码器仍然可以合成语音,尽管不那么准确。

但目前还不清楚这种方法是否适用于那些失去了活动声道能力的人,或者从来没有这样做过的人。虽然这种方法已经产生了迄今为止最令人印象深刻的结果,但从长远来看,最近尝试直接从听觉皮层解码语音的其他方法可能更有用。

另一个障碍是,这种方法要求人们进行侵入性手术,在大脑中安装电极,以便这种方法发挥作用。专家们一致认为,使用脑电图耳机对大脑信号进行外部记录,根本无法捕捉到足够详细的记录,用于这种应用。

但也有一些资金充足的初创公司,比如Kernel和Neuralink,正在开发新一代更无缝、更灵活的脑机接口。这些最初是针对医疗应用的,但长期目标是把它们变成一种消费设备,因此,读心术机器可能很快就会成为现实。

阅读剩余内容
网友评论
相关内容
拓展阅读
最近更新