重建看到的图像 离 fMRI 再近一步 脑机接口 日本研究员根据大脑 (重建图片)

文章编号:52296 资讯动态 2025-02-01 MRI 脑机接口 神经网络 人工智能

雷锋网 AI 科技评论报道:位于日本的国际电气通信基础技术研究所(ATR)的计算神经科学实验室和京都大学日前联合发布了一篇论文,他们可以借助 fMRI(功能性磁共振成像)技术和基于深度学习的算法根据人的大脑活动重建人类看到的图像。雷锋网 AI 科技评论把论文简介如下

在论文《Deep image reconstruction from human brain activity》(根据人类大脑活动进行深度图像重建)中,作者们介绍道:「这个重建算法可以从一张随机图像出发,迭代地优化其中的像素值,最终让这张图像经过深度神经网络之后产生的特征和大脑活动经过特征解码后得到的多层特征类似。最终得到的优化图像就可以看作是对大脑活动的重建。」

离「脑机接口」再近一步,日本研究员根据大脑 f 重建看到的图像

模型总体结构:用于提取图像特征的DNN网络会提取图像特征,然后与解码出的人类大脑活动特征进行对比,根据两者的误差引导用于重建图像的DGN网络迭代优化图像,最终得到重建结果。

为了收集训练数据,研究员们让被试者观看图像,用fMRI 记录下他们当时的大脑活动。观看的图像样本包括几何图形、自然世界照片和字母;采集数据前后共花了 10 个月时间。

重建出的部分图像请见下方动图。

离「脑机接口」再近一步,日本研究员根据大脑 f 重建看到的图像

离「脑机接口」再近一步,日本研究员根据大脑 f 重建看到的图像

逐步迭代生成重建图像

离「脑机接口」再近一步,日本研究员根据大脑 f 重建看到的图像

英文字母的重建结果

作者们用了许多不同的图像输入做了测试。可以看到每个类别的重建结果都和原图差别不小,但已经体现出了不小的区分度。考虑到fMRI能采集到的信息有限,同时人的视觉皮层的工作机理也还没完全研究明了,这样的结果已经足以令人眼前一亮了。

原论文地址

论文摘要:用基于机器学习的方法分析人类 fMRI 的图样模式已经让可视化人类意识中的内容变得可能。不过,之前的研究都仅限于低层次的基础图像元素,或者只是成功匹配了典型样例。近期的一些工作已经展现出,人类大脑视觉皮层的活动可以被解码(翻译)为深度神经网络的不同层级的特征,这就给利用层次化视觉特征带来了新的方法。

在这篇论文中,作者们展示了一种全新的图像重建方法:在采集人类大脑活动并将其解码为多层特征之后,可以用优化手段生成新的图像,让新的图像的深度神经网络特征和前面解码出的特征相似。作者们发现,这样优化得到的图像和输入图像(fMRI 成像期间给人类测试者看的刺激图像)很类似,不仅图像本身的外观类似,对图像中内容的主观理解也类似。尽管作者们仅仅使用了日常照片训练模型,他们的方法还是可以成功泛化到人造形状的重建中,这表明他们的方法确实可以根据人脑活动「重建」或者「生成」图像,而不是简单匹配了典型样例。在生成图像过程中,生成模型附加了一些让重建的图像更且像自然图像的限制,这样就以一种高效的方法让重建的图像带有了具有语意意义的细节。根据人类观察的反馈,综合神经网络中多个不同的层的特征形成的图像比只用单个层的图像具有更高的视觉质量。总的来说,这项研究表明人类大脑的层级化视觉信息可以被高效地综合利用,重建出感知性的、主观的图像。

via Nvidia Developer News ,雷锋网 AI 科技评论编译

DARPA 拨款 6500 万美元用于脑机接口研发,一起来看各顶尖研究机构的脑洞

近距离接触类脑计算,看脑机接口如何走向脑机融合|CCF-ADL 新课报名中

专访脑机接口研究先驱米格尔 • 尼科莱利斯:马斯克的观点我不同意

要做好脑机接口技术,马斯克和扎克伯格还差一本“菜谱”

盘点 | 过去一年拿到融资的脑机接口玩家

版权文章,未经授权禁止转载。详情见 转载须知 。

离「脑机接口」再近一步,日本研究员根据大脑 f 重建看到的图像


本文地址: https://www.gpxz.com/article/9aece8d6749db10b2c0d.html
全局中部横幅
全局中部横幅
发现值得买

发现值得买(www.kiees.com)是性价比网购推荐平台,通过人工甄选出各商城的高性价比商品和促销活动攻略,让朋友们发现值得买。

成都梦工厂网络信息有限公司

成都梦工厂网络信息有限公司(简称:成都梦工厂)成立于2002年12月,西南地区最大的游戏研发与运营企业。2009年6月,博瑞传播出资4.41亿元成功入主成都梦工厂,成都梦工厂成为多种盈利模式并存的互联网娱乐文化公司,倾力打造各类优秀的网游产品,并进一步为用户提供细致入微的娱乐体验。

风水知识大全

汇聚海量风水知识,涵盖阳宅、阴宅、办公室等各类风水领域。提供精准风水测算服务,如八字风水分析、家居风水布局评测。更有资深风水师在线答疑,为您解读风水奥秘,助力改善生活运势。

专业网站设计

做网站一站式设计全包,网络推广运营服务,为企业打造有灵魂,有颜值,适用且易用的网站,更懂您需求的营销教练,项目咨询交流:请拨打188-1146-7445,或添加微信号:qhsjui

清洗检测机

无锡容恒轴研科技有限公司主要从事球轴承自动化检测设备的研发及制造,作为国内研发、制造轴承自动化设备的先驱--无锡市汇光精密机械有限公司的子公司,容恒轴研自成立之初就致力于为国内外的轴承制造企业提供高质量、高稳定性的自动化检测设备,包括尺寸检测、游隙检测和振动检测设备。

通过式抛丸机

青岛普华重工是一家专业生产抛丸机的厂家,主要产品有通过式抛丸机,路面抛丸机,喷砂房,喷漆房等,是目前国内首家集表面清理抛丸设备,铸造机械,涂装生产线,数控锻压及自动化设备科研开发,多行业生产贸易为一体的高新技术企业。

商米科技

商米是一家以“利他心”为核心价值观,全面引领全球智能商用硬件创新的物联网科技公司。商米致力于为商用领域提供丰富且优秀的智能IoT硬件及软硬结合的数字化解决方案,构建万物互联的商业世界,最终实现商业4.0。

东方人才网

海南东方市人才网站,是海南区域内专业的求职招聘平台。专为求职者提供丰富的工作信息,为招聘方寻找合适的优秀人才。东方招聘信息网覆盖了东方市的各行各业,无论您是想找工作还是招聘人才,我们都将为您提供专业|全面的服务。

深圳IC网站建设公司

深圳网站建设公司【万广互联】11年深圳网站设计制作经验,专注于响应式营销型网站建设,SEO优化推广,IC网站建设,芯片电子元器件商城外贸独立站网站,小程序及系统开发,客户:城建集团,智动力股份,亚光集团,欣旺达等

日照人才网

日照人才网站是连接求职者与招聘单位的重要平台,致力于为山东地区的求职者提供丰富的招聘信息。无论是银行招聘|学院招聘,还是医院招聘,各类职位应有尽有,满足不同人群的需求。日照人才网还提供兼职信息,适合寻找小时工和司机工作的用户。无论你是在找工作还是获取求职建议,日照人才市场都能为你提供精准的信息,助你顺利迈向职业发展新阶段。

广州市励派电子公司

广州市励派电子公司是一家专注于娱乐视频解决方案及泛娱乐行业赋能系统集成工程商及音响工程商的科技型企业,致力于娱乐视频行业丨大住宿业智慧酒店丨商显行业丨教学智慧屏丨会议智慧屏及广告信息发布系统的解决方案。

汉语词典

汉文智库是专业的汉语查询学习平台,提供汉语词典、成语大全、近义词反义词对比、古诗词原文赏析、汉字笔顺演示及造句组词等权威内容查询。

全局底部横幅