科学家研发出 读心术 3% 错误率低至 直接将脑电波翻译成文本 (科学家研发出穿戴人工喉)

文章编号:40509 资讯动态 2024-12-03 脑机接口脑电波

美国加州大学旧金山分校的科学家,已经训练出一种算法,可以直接将受试者的脑电波实时翻译成句子,错误率仅为 3% 。

这项研究发表在《自然神经科学》(Nature Neuroscience)杂志上,他们招募了 4 位志愿者,这些志愿者被要求多次朗读 30-50 个固定句子,而电极记录下他们的大脑活动。[1]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

所有者:Gerd Altmann 】

这些数据随后被输入到机器学习算法,它将每个句子的大脑活动数据转换成一串数字和字符串。

系统从这些大脑活动数据再推导出声音,并和实际记录的音频进行比较。数字和字符串则被再次输入到系统,转换成一个单词序列。

起初,系统会吐出毫无意义的句子。但是当系统将每个单词序列与实际朗读的句子进行比较时,它得到了改进,学会了数字字符串与单词的关系,以及哪些单词是有上下文关系的。

算法不断的训练,直到从说话时的大脑活动中产生书面文本,类似机器翻译。

新系统的准确性远远高于以前的方法。虽然准确性因人而异,但对于其中一位志愿者来说,平均每个句子只有 3% 需要纠正,高于速记员 5% 的单词错误率。

当然,目前这个系统还是有很大局限,算法还只能处理少量的句子。系统也不能用于严重残疾失去语言能力的患者,因为它依赖于记录大声说出句子的人的大脑活动。

然而,每个志愿者只用了不到 40 分钟来训练,在有限的小数据集情况下,达到了迄今为止最大的精确度。

脑机接口

从人类大脑信号到外部设备之间建立连接通路并不是新鲜事,脑机接口的研究已持续了 30 年。

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

所有者:aytuguluturk 】

在过去的十年,我们已经能够解码语音信号,但是局限于孤立音素或者单音节词,在一段 100 个单词的连续语音的情况下,解码正确的单词少于 40% 。

科学家们此次找到的是一个更直接的方法,就是采取机器翻译类似的算法。机器翻译就是将文本从一种语言到另一种语言的算法翻译,只不过这次输入的文本变成了脑电波信号。此次发表的论文《使用编码器-解码器框架:大脑皮层活动到文本的机器翻译》,正是详细描述了这一过程。

在系统对一个志愿者进行训练之后,再对另外一个志愿者训练时,解码结果得到了改善,这表明该技术可以在人和人之间进行迁移。

在 GitHub 上,放置了论文对应的代码。

ecog2txt 模块,用于从神经数据中将语音解码为文本。它用 python 代码实现了跨主题的迁移学习的高级功能。[2]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【雷锋网注:ecog2txt是论文对应的开源实现模块】

而训练本身则是通过另一个 machine_learning 软件包,它在 TensorFlow 里实现了一个序列到序列的网络。[3]

这些软件包的作者,也是论文的联合作者之一约瑟夫·马金(Joseph Makin)博士,他目前是加州大学旧金山分校整合神经科学中心的研究科学家。他的专业是电机工程和计算机科学,专门研究控制理论,包括脑机接口的算法开发。[4]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【雷锋网注:上图为张爱德博士】

论文的另外一个联合作者是张爱德(Edward Chang)博士,他是医学博士和神经外科医生,擅长为患有癫痫病,脑瘤,三叉神经痛,面肌痉挛和运动障碍的成年人提供治疗。他目前是加州大学旧金山分校威尔神经科学研究所的神经外科教授,还领导了一个神经工程与假肢中心,以恢复瘫痪和言语障碍等神经疾病患者的功能。[5]

网友评论

科学家们曾经认为将大脑信号转换为可理解的语音可能需要数十年,而现在这个间隔可以用几年来衡量。在 reddit 的科学板块,该消息引发了 3 万多次点赞和上千条评论。[6]

网友 derlumpenhund 评论说,这并不表示思想阅读机发明出来了。它主要依赖于解码口舌运动时对应的大脑皮层活动,需要收集给定主题的数据,并且提前进行训练,并不会直接解码你的思想活动。话虽这么说,这一进展也很了不起。

网友 boointhehouse 则说,如果这项技术早点用于斯蒂芬·霍金,在他的一生中还能完成更多的工作。

[1]

[2]

[3]

[4]

[5]

[6]

原创文章,未经授权禁止转载。详情见 转载须知 。

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

全局中部横幅
网易天音

网易天音AI创作平台,词曲编唱样样精通,海量风格全部免费使用,还不快来点亮你的音乐天赋!

【官网】Bangboss

Bangboss表单大师,是一款功能强大的在线表单制作和数据收集分析工具。零基础用户也可快速创建调查问卷、活动报名、意见反馈、在线订单、信息登记、线上考试等各类表单并生成分析报表,通过短信、邮件推送及投票抽奖互动,轻松完成客户挖掘和营销推广。

智客牛:新一代酒店中央预定系统

智客牛是中国领先的一站式酒店销售平台,向超过2000家酒店提供酒旅直销SaaS、AI智能获客系统、会员权益系统、酒店官网、酒店小程序、在线预订引擎、全渠道分销平台等,为酒店建立全域流量营销体系提供一站式技术服务。

营销云软件

Convertlab是一体化营销云服务商,帮助企业高效运营海量用户,打造品牌特有的个性化用户体验,快速收获业务增长。

500px摄影社区

视觉中国旗下的全球知名专业摄影师社区,拥有来自195个国家的超过1700万注册用户。用户可以作品云端存储、参与优质摄影比赛、创建兴趣部落、学习摄影知识,还可以实现内容传播与交易变现及版权保护等一系列专业服务。

海角旅游网

海角旅游网由深圳市运通国际旅行社有限公司创办运营于2004年,获得国家旅游局特许旅游经营资质,是一家致力于提供马尔代夫旅游、普吉岛、苏梅岛等海岛旅游的旅行服务提供商。20年来,我们在泰国、香港、马尔代夫、巴厘岛等地区建立了地接服务网络,始终如一为上万家庭的旅途提供保姆级、管家式的旅游服务,深得消费者的信任与喜爱。

宜昌市恒昌标准件有限责任公司

producespringwasherspringlockwasherlockwasherhelicalspringlockwasherDIN127BANSI18.22.1DIN6980DIN137heavyspringwasherconicalspringwashersteelwasherflatwasherroundwasherstainlesssteelspringwashersplitwashersplitlockwasherdoublespringlockwasherdoublespringwasherforrailwayFE6springwasher. cotterpinplitpinspringcotterhairpinspringcotterpinclevispinDIN94cotterkeyhairpincotterpinstailesssteelcotterpinRgrippindoubleringspringcotterplainwasher.

武汉市凡敦瑜商贸有限公司

武汉市凡敦瑜商贸有限公司产品应用领域包括汽车电瓶,汽车配件,汽车音响。是集科研、设计、生产、检测、销售及服务于一体的现代化科技型企业。公司以全心全意为顾客服务,帮助客户解决难题,也赢得了广大客户的一致好评。公司始终坚持为客户创造价值的理念,坚持自主创新,先后引进的国外先进的机器设备,提高全体员工的素

热门手游

明月手游攻略网提供最新安卓IOS手游攻略,为广大玩家提供最全的的手机游戏资讯和动态,大量好玩热门的手游社区等你来参与。

肥王大闸蟹

苏州传奇农业科技有限公司

鱼吉祥蒸汽石锅鱼加盟,云南石锅鱼加盟,加盟蒸汽石锅鱼,草帽蒸汽石锅鱼加盟品牌

云南蒸汽石锅鱼加盟品牌推荐选择鱼吉祥蒸汽石锅鱼.云南蒸汽石锅鱼加盟总部以草帽蒸汽石锅鱼加盟,蒸汽石锅鱼培训,草帽石锅鱼品牌打造,石锅鱼加盟品牌帮扶运营托管,物流配送等为核心的一站管家式全国连锁加盟品牌餐饮企业.所谓:云南十八怪,草帽当锅盖草帽加持的蒸汽石锅鱼高温瞬间激发了鱼的鲜香.

成都区县农副产品批发公司

成都霍达尼商贸有限公司是一家专注于区县农副产品批发公司的微型企业。我们致力于满足客户多样化的需求,提供优质的批发服务。公司拥有一支经验丰富的团队,秉承诚信、专业和高效的原则,在激烈的市场竞争中不断前行。通过大数据分析和市场研究,我们不断优化产品线和服务内容,确保与时俱进。

全局底部横幅