声音和词语在大脑中并行处理 最新研究 (声音的词语怎么说)

文章编号:36832 资讯动态 2024-11-30 深度学习

受到生物神经网络的启发,目前深度神经网络已经被证实效果很好。如今,深度神经网络和深度学习在计算机视觉、语音识别和自然语言处理等许多重要问题上有着出色的表现。

神经网络本身是一般的函数逼近,这就是为什么它们几乎可以应用于任何从输入到输出空间复杂映射的机器学习问题。

然而深度神经网络更多的是关心所谓的端到端学习,内部发生什么事情它并不关心。这在认知科学里面叫“弱等价”,也就是说人和机器可以干同一件事,但是它们的内部过程并不是一样的。

或者和生物智能类似,深度神经网络要在增加内部的认知过程中,也应该和生物系统类似。此时,站在生物神经学的参照系下,或许能赋予AI语言处理更精细的洞察。

经过多年研究,神经科学家发现了人类大脑中处理语言声音的运行规则

8月18日,美国加州大学旧金山分校的研究人员在《细胞》杂志上发表论文称, 听觉处理和语言处理是并行进行的。 这与长期以来认为大脑先处理听觉信息,然后将其转化为语言信息的理论相矛盾。

最新研究表明:当含有语意的声音传到耳中,耳蜗将其转换成电信号,然后发送到位于颞叶的听觉皮层。

最新研究:声音和词语在大脑中并行处理

人脑左半球听觉皮层的位置和分区示意图

几十年来,科学家们一直认为,听觉皮层在处理语音时像工厂流水线一样有先后工序:首先,初级听觉皮层处理简单的声音信息,比如声音频率。然后,颞上回(superior temporal gyrus,STG)提取更重要的特征,如辅音和元音,将声音转换为有含义的单词。

但一直以来,这一理论缺乏直接证据的支持,因为它需要整个听觉皮层极高时空分辨率的详细神经生理学记录。这是一个挑战,原因是初级听觉皮层位于大脑额叶和颞叶的裂口深处。

美国加州大学旧金山分校神经科学家和神经外科医生Edward Chang说:"所以,我们进行了这项研究,希望找到声音等低级表征转化为词汇等高级表征的证据。"

最新研究:声音和词语在大脑中并行处理

这项研究的开展离不开一些患者的支持。几年时间里,有9名患者参与了实验。因为需要切除脑部肿瘤或定位引发癫痫的病灶,这些患者接受了神经外科手术。与此同时,他们同意让医生在手术过程中将微电极阵列放置在他们的听觉皮层,收集神经信号,用于分析语言功能和定位癫痫,以及研究听觉皮层如何处理语音信息。

"这是我们第一次可以直接从大脑表面同时覆盖听觉皮层的所有区域,研究声音到字词的转换。"Chang教授说。相比过去只能在有限的几个点记录神经活动的电信号,无疑是巨大的进步。

接着,在实验中,研究人员开始向参与者播放词组和短句,试图寻找信息从初级听觉皮层流向颞上回的迹象。按照原来的假设,这两个脑区应该会先后被激活。

然而,事实并非如此。他们观察到,播放句子时,颞上回某些区域的反应速度与初级听觉皮层一样快,也就是说,这两个区域同时开始处理声音信息。

在另一项实验中,研究人员用微弱的电流刺激患者的听觉皮层。按照原来的假设,刺激初级听觉皮层,很可能会扭曲患者对言语的感知。然而,这些患者表示,尽管刺激引起了某些声音的幻听,但他们仍能清楚地听到并重复对他们播放的字词。

相反,当研究人员用电流刺激患者的颞上回,患者报告说他们能听到有人在讲话,"但分辨不出字词"。"事实上,有一名患者说,听起来就像单词的音节发生了互换。"Chang教授说道。

综合这些证据,研究小组认为,大脑听觉皮层对声音和语音的信息处理是并行的,而不是传统模型所认为的串行处理。

传统语音处理模型过于简化,甚至很可能是错误的。研究人员推测,颞上回可能独立于初级听觉皮层而发挥作用,而不是作为初级听觉皮层处理的下一步。

语言处理的并行性可能会给医生提供治疗诵读困难症等病症的新思路。患有这些疾病的儿童在识别语音方面存在困难。

"虽然这是向前迈出的重要一步,但我们还不了解这个平行听觉系统。这些发现表明,声音信息的传递可能与我们想象的非常不同。这无疑带来了更多问题。"Chang说。

站在生物神经学的参照系下,AI语言处理被赋予更精细的洞察

生物神经元构成一层一层的网络,一层一层进行特征提取,这是深度学习已经模拟的,其实大脑还有一个根本不同,我们识别物体的时候不是像深度学习网络一样由简单到复杂的特征提取,而是有多条通路:

我们看到一个物体的时候,第一步会快速的从皮层下通路,对物体的整体的性质进行识别,这些信息到了高级脑区,和记忆、先验知识等进行融合,先猜测出来是什么东西,通过神经反馈再和深度学习模拟的那个慢速的腹侧通路进行动态交互,这个过程可能会经过几个回合,整个识别的过程都是输入和大脑内部的先验知识不断的相互比较印证的过程,而这个过程在目前是深度学习没有包含的,也是图像理解这个数学上不适定问题(ill-posed problem)的一个解决方案。

那为什么我们好像深度学习网络用的很好,我们没有包含动态的过程,由粗到细、由global到local的过程,也能做的挺好。或许是因为现在我们的任务太简单了,如果只是做静态图像的识别根本不需要这个,但是如果真的要做一个能够与环境动态交互、很自主的机器人,这样的计算需求就会出现,那个时候就需要动态交互的过程了。

而深度学习一般认为是黑盒子,每个人的模型得到大致相同的结果,但是也不完全一样,那么这里的一致性和不一致性到底体现在哪里。如果生物神经在语言处理方面搞的很清楚的话,实际上对深度神经网络的架构也会很有帮助。

原创文章,未经授权禁止转载。详情见 转载须知 。

最新研究:声音和词语在大脑中并行处理


本文地址: https://www.gpxz.com/article/d96261e14771ee69efe1.html
全局中部横幅
全局中部横幅
糖心VlOG

糖心VlOG是专业的在线影视平台,提供海量高清电影、电视剧、综艺节目等糖心VlOG视频资源。支持多设备观看,会员享受无广告体验和独家内容。糖心VlOG视频作为专业的生活视频分享平台,提供优质糖心VlOG现在观看内容、创作工具、社区交流等服务。糖心VlOG-甜蜜生活视频分享平台记录甜蜜生活每一刻。

烧录器

群沃电子科技专业从事IC编程器研发、烧录机、烧录器、编程器、自动烧录机、芯片自动烧录机、全自动烧录机、烧录编程器生产与销售,价格实惠,品质保障,针对半导体工厂、芯片通路商、手机制造商、汽车电子、消费数码电子生产商及EMS代工厂等提供集成电路烧录、测试、返修服务提供商。

貂皮大衣生虫掉毛裂口修补一站式貂皮救治

修复你的貂皮大衣是我们的责任和乐趣,无论是貂皮大衣裂口,脱线,破洞,掉毛,生虫受潮修复,染色还是缩水发硬的救治,或者貂皮改款式改样子,我们都会用最好的技术好最优的方案为你提供专业的服务。尤巧守匠三十年已经为超过十万客户服务,得到了大家一致的认可和好评。

榆林科创新城产业发展有限责任公司

榆林科创新城产业发展有限责任公司

水墨文学

水墨文学,您的小说阅读首选。我们精选各类热门小说,为您带来极致的阅读体验。无论您喜欢哪种类型的小说,都能在水墨文学找到心仪之作。

上海到武汉物流公司

上海到武汉物流公司,上海到武汉物流专线,上海到武汉货运专线,提供仓储、配送、货物运输、上海大件运输,货运代理、停车配载、物流方案策划等物流运输服务。

马克水印相机

马克水印相机电脑版,轻量、无广告水印app,拍照自动添加水印,水印包含时间、地点、天气、海拔、经纬度、具体位置、负责人、备注、桩位等等,提供多种水印模板适用于工程行业、物业行业、快消行业、酒店、第三方等等。

广西直升机租赁价格,广西直升机销售出租,广西直升机婚庆租赁公司,广西直升机驾驶培训

广西直升机租赁价格,广西直升机销售出租,广西直升机婚庆租赁公司,广西直升机驾驶培训,飞机之家全网300多万粉丝。;广西直升机4S店销售专卖店。

钢制管件

武汉千锤百炼管道装备有限公司是一家开发钢制管道装备专业科研企业,主要生产各种管件,以及优质的不锈钢阀门、不锈钢法兰类产品,生产经验丰富,经营多年,专业为您提供优质的产品!

NovaVanguard

Nova有希望,Vanguard致超越!

全局底部横幅