重建看到的图像 离 fMRI 再近一步 脑机接口 日本研究员根据大脑 (重建图片)

文章编号:52296 资讯动态 2025-02-01 MRI 脑机接口 神经网络 人工智能

雷锋网 AI 科技评论报道:位于日本的国际电气通信基础技术研究所(ATR)的计算神经科学实验室和京都大学日前联合发布了一篇论文,他们可以借助 fMRI(功能性磁共振成像)技术和基于深度学习的算法根据人的大脑活动重建人类看到的图像。雷锋网 AI 科技评论把论文简介如下

在论文《Deep image reconstruction from human brain activity》(根据人类大脑活动进行深度图像重建)中,作者们介绍道:「这个重建算法可以从一张随机图像出发,迭代地优化其中的像素值,最终让这张图像经过深度神经网络之后产生的特征和大脑活动经过特征解码后得到的多层特征类似。最终得到的优化图像就可以看作是对大脑活动的重建。」

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

模型总体结构:用于提取图像特征的DNN网络会提取图像特征,然后与解码出的人类大脑活动特征进行对比,根据两者的误差引导用于重建图像的DGN网络迭代优化图像,最终得到重建结果。

为了收集训练数据,研究员们让被试者观看图像,用fMRI 记录下他们当时的大脑活动。观看的图像样本包括几何图形、自然世界照片和字母;采集数据前后共花了 10 个月时间。

重建出的部分图像请见下方动图。

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

逐步迭代生成重建图像

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

文字母的重建结果

作者们用了许多不同的图像输入做了测试。可以看到每个类别的重建结果都和原图差别不小,但已经体现出了不小的区分度。考虑到fMRI能采集到的信息有限,同时人的视觉皮层的工作机理也还没完全研究明了,这样的结果已经足以令人眼前一亮了。

原论文地址

论文摘要:用基于机器学习的方法分析人类 fMRI 的图样模式已经让可视化人类意识中的内容变得可能。不过,之前的研究都仅限于低层次的基础图像元素,或者只是成功匹配了典型样例。近期的一些工作已经展现出,人类大脑视觉皮层的活动可以被解码(翻译)为深度神经网络的不同层级的特征,这就给利用层次化视觉特征带来了新的方法。

在这篇论文中,作者们展示了一种全新的图像重建方法:在采集人类大脑活动并将其解码为多层特征之后,可以用优化手段生成新的图像,让新的图像的深度神经网络特征和前面解码出的特征相似。作者们发现,这样优化得到的图像和输入图像(fMRI 成像期间给人类测试者看的刺激图像)很类似,不仅图像本身的外观类似,对图像中内容的主观理解也类似。尽管作者们仅仅使用了日常照片训练模型,他们的方法还是可以成功泛化到人造形状的重建中,这表明他们的方法确实可以根据人脑活动「重建」或者「生成」图像,而不是简单匹配了典型样例。在生成图像过程中,生成模型附加了一些让重建的图像更且像自然图像的限制,这样就以一种高效的方法让重建的图像带有了具有语意意义的细节。根据人类观察的反馈,综合神经网络中多个不同的层的特征形成的图像比只用单个层的图像具有更高的视觉质量。总的来说,这项研究表明人类大脑的层级化视觉信息可以被高效地综合利用,重建出感知性的、主观的图像。

via NVIDIA Developer News ,雷锋网 AI 科技评论编译

DARPA 拨款 6500 万美元用于脑机接口研发,一起来看各顶尖研究机构的脑洞

近距离接触类脑计算,看脑机接口如何走向脑机融合|CCF-ADL 新课报名中

专访脑机接口研究先驱米格尔 • 尼科莱利斯:马斯克的观点我不同意

要做好脑机接口技术,马斯克和扎克伯格还差一本“菜谱”

盘点 | 过去一年拿到融资的脑机接口玩家

版权文章,未经授权禁止转载。详情见 转载须知 。

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像


本文地址: https://www.gpxz.com/article/9aece8d6749db10b2c0d.html
全局中部横幅
全局中部横幅
房山新闻网

本站是房山区综合性信息门户网站,提供房山、长阳CSD、良乡、燕山地区新闻资讯、房山二手房、房产信息、人才招聘、房山线、房山地铁、房山公交、长阳CSD社区网信息、企业黄页、家教培训、商城、饮食、娱乐、消费、打折促销、旅游、交友等信息服务。

农业机械设备,农业机械销售,农业机械产品

中国农业机械网提供国内外农业机械设备品牌和产品信心,包含拖拉机、收割机、播种机、等农业机械产品信息,找农业机械设备必上农业机械网。

文献解读

文房思宝,用户上传文献,可选中文本进行解读,进行总结、解释、翻译、推荐相关文献、朗读操作

闪蒸干燥机生产厂家

常州市力群闪蒸干燥设备有限公司是为数不多仅专注于设计制造XZG系列旋转闪蒸干燥机的生产厂家;力群闪蒸干燥机经多年实践,拥有多项专利技术,自行设计了锂电材料、豆渣、碳酸钙,硬脂酸盐,石墨等专用干燥机设备。

AI人工智能

深圳市浩太科技有限公司是一家专注于手机AI人工智能、app开发、软件开发、智慧农业、物联网,智慧城市等综合型互联网企业,为顾客提供app软件开发、小程序开发、软件外包服务一站式解决方案,开发流程透明,源码交付,开发效率高等优势。

垃圾分类网

垃圾分类网,致力于垃圾分类知识的学习和垃圾分类工作的宣传,整理汇总大量垃圾分类手抄报,让环境变得更美是我们的目标和宗旨。

传送带

传送带贸易网主要为您提供传送带行业讯息。网站主要为您提供传送带厂家、传送带资讯、传送带价格、传送带采购等相关信息。购买传送带就来传送带贸易网,总有一款适合您。

湖南温室大棚

湖南星绿智能科技有限公司是一家专业提供智能温室大棚,连栋温室,玻璃温室,薄膜温室大棚,pc板温室,工厂化育秧,育苗密室,科研温室大棚的搭建和技术指导研发以及温室生态餐厅,设计、建设、升级整修、运营咨询服务的规范服务商。

一站式会计服务与学习平台

欢迎来到会计魔方网,这里是您一站式的会计服务与学习天地。无论您是正在备考会计相关证书的学子,还是从事会计工作渴望提升实操技能的专业人士,亦或是需要专业财务咨询的企业主,我们都能满足您的需求。提供全面的会计考证辅导课程,涵盖从初级到高级的各类会计证书;丰富的会计实操培训内容,让您迅速掌握实际工作中的财务处理技巧;还有最新的会计行业资讯,助您时刻紧跟行业动态。同时,我们的财务软件教程将帮您轻松驾驭各类财务办公软件。在会计魔方网,开启您的会计进阶之旅,解锁会计领域的无限可能。

微巨宝

微信公众智能服务平台,八大微体系:微菜单、微官网、微会员、微活动、微商城、微推送、微服务、微统计,企业微营销必备。


全局底部横幅