大脑练就了预测感知能力 为提高能量利用效率 (大脑可以训练到什么程度)

为提高能量利用效率,大脑练就了预测感知能力
“试图在没有生成模型的情况下来理解数据是注定要失败的,人们所能做的只是对数据中的模式进行陈述。”
我们的大脑是一个包裹在颅骨中重达三磅的组织块,它是如何从感觉中创造出感知的?这一直以来都是个谜。
数十年来,有大量的研究和证据表明,大脑不可能只是简单地像拼凑拼图一样感官信息将感官信息组织在一起,来感知周围的环境。即使传入的信息杂乱无章、模糊不清,大脑依旧可以根据进入眼睛的光线构建一个场景,这一事实恰巧证明了上述观点。
因此,越来越多的神经科学家开始将大脑视为 "预测机器"。通过预测处理,大脑利用其对世界的先验知识来推断或产生假设,来解释传入感官信息的原因。这些假设在我们的脑海中产生了感知,并不是感官输入本身产生的感知。输入的感官信息越模糊,对先验知识的依赖性就越强。
荷兰拉德堡大学预测性大脑实验室的神经科学家 Floris de Lange表示, 预测性处理框架的魅力在于它有一种非常强大的能力可以解释不同系统中许多不同的现象。
然而,越来越多的神经科学证据表明,支持这一观点的想法主要是 间接 的,并且可以有其它替代解释。
拉德堡大学的Tim Kietzmann 致力于研究机器学习和神经科学的跨学科领域,他表示:"如果你研究人类的认知神经科学和神经成像,将会有很多证据,但这些证据都是非常含蓄的、间接的。"
因此,研究人员开始试图通过计算模型来理解和测试预测性大脑的想法。计算神经科学家通过研究生物神经元的行为,建立了人工神经网络,可以学习对输入信息进行预测。这些模型可以近似模仿真实大脑的能力。用这些模型进行的一些实验甚至暗示: 大脑必须要进化成预测机器才可以满足能量限制。
随着计算模型的增加,研究活体动物的神经科学家们也越来越相信大脑会学习推断感官输入的原因。虽然关于大脑如何做到这一点的具体准确的细节仍然模糊不清,但大体的情况变得越来越清晰。



感知中的无意识推理
预测处理起初看起来可能像是一种违反直觉的复杂感知机制,但科学家们一直以来非常偏向于它,因为似乎没有其它更好的解释。甚至在一千年前,穆斯林阿拉伯天文学家、数学家Hasan Ibn Al-Haytham在他的《光学书》中就强调了预测处理的一种形式,用来解释视觉的各个方面。这一想法在19世纪60年代得到了有力支撑,德国物理学家兼医生Hermann von Helmholtz认为, 大脑推断出其传入的感知输入的外部原因,而不是从这些输入"自下而上"地构建其感知。

为提高能量利用效率,大脑练就了预测感知能力

20世纪中叶的认知心理学家用这种看起来既像鸭子又像兔子的图像来研究人类的感知
Helmholtz 阐述了" 无意识推 理(unconscious inference) "的概念,来解释双稳态或多稳态感知,即一个图像可以以不同方式被感知。例如,在一些的模棱两可的图像上,像上图所展示的那样,我们可以感知它为一只鸭子,又可以认为它是一只兔子,我们的感知在两种动物图像之间不断转换。Helmholtz 表示在这种情况下,由于在视网膜上形成的图像没有变化,所以感知必须是一个自上而下推断感官信息原因的无意识过程的结果。
在20世纪,认知心理学家们继续提出了这样的观点: 感知是一个主动建构的过程,它同时借鉴了自下而上的感知和自上而下的概念性输入。
Richard Langton Gregory在1980年发表了一篇非常有影响力的论文 “Perceptions as Hypotheses” 。该论文中,作者认为感知错觉本质上是大脑对感官印象原因的错误猜测。同时,计算机视觉科学家们在努力使用自下而上的重建,使计算机在没有内部 "生成 "模型参考的情况下进行观察。
尽管预测处理的接受度在不断提高,但是,关于它是如何在大脑中实现的这一问题仍然存在。流行的一种被称为预测编码的模型,认为大脑中的信息处理水平是有层次的。最高级代表最抽象、最高级的知识,例如,对前方阴影中的蛇的感知。该层通过向下发送信号来预测下一层的神经活动。下层将其实际活动与上面的预测进行比较。如果存在不匹配,该层会生成一个向上流动的错误信号,以便更高层可以更新其内部表征。
这个过程同时发生在每一对连续层,一直到接收实际感知输入的最底层。从外界接收到信息和预期结果之间的任何差异都会导致一个错误信号,并在层次结构上产生涟漪。然后最高层最终更新了它的假设,那不是一条蛇,只是地上的一根卷曲的绳子。
为提高能量利用效率,大脑练就了预测感知能力
"一般来说,预测性编码的原理是大脑基本有两个神经元群体,特别是当它应用于大脑皮层时,一个编码关于正在感知的东西的当前最佳预测,另一个是该预测的错误信号"de Lange 说。
1999年,计算机科学家 Rajesh Rao和Dana Ballard 分别在索尔克生物研究所和罗切斯特大学建立了一个强大的 预测编码计算模型 ,其中有明确用于预测和纠错的神经元。他们对灵长类动物大脑视觉处理系统中的部分路径进行了建模,该路径由负责识别面部和物体的分层组织区域组成。他们的研究表明,该模型可以重现灵长类动物视觉系统的一些不寻常行为。
这项工作是在现代深度神经网络出现之前完成的。而深度神经网络有一个输入层、一个输出层和夹在两者之间的多个隐藏层。 到2012年,神经科学家们开始使用深度神经网络来模拟灵长类动物的腹侧视觉流。但几乎所有这些模型都是前馈网络,其中信息只从输入流向输出。"大脑显然不是一个纯粹的前馈机器,"de Lange说,"大脑中有很多反馈,和前馈信号一样多"。
因此,神经科学家们转而研究另一种类型的模型—— 递归神经网络(RNN) 。纽约西奈山伊坎医学院的计算神经科学家和助理教授Kanaka Rajan表示: 这些模型的特点使它们成为模拟大脑的 "理想基质",他的实验室使用RNNs来理解大脑功能 。RNNs的神经元之间既有前馈连接,也有反馈连接,它们持续不断地活动,这与输入无关。 Rajan说:"这种长时间产生这些动态的能力几乎是永久性的,然后使这些网络能够接受训练。"



预测是为了节能

RNNs引起了William Lotter 和他在哈佛大学的博士论文导师 David Cox 以及Gabriel Kreiman的注意。
2016年,该团队构建了,这是一个递归神经网络,其架构设计用于执行预测编码。该团队按照预测编码的原则将RNN设计成一个由四层组成的层次结构,每一层都预测它从下面一层预测到的输入,如果出现不匹配,则向上发送一个错误信号。

为提高能量利用效率,大脑练就了预测感知能力

然后,他们在汽车摄像拍摄的城市街道视频上训练该网络。PredNet学会了连续预测视频中的下一帧。"我们起初不确定它是否真的能工作,后来尝试了一下,发现它确实在进行预测。这非常酷"Lotter说。
下一阶段是将PredNet与神经科学联系起来。去年在《Nature Machine Intelligence》杂志上, Lotter及其团队在报告中说: PredNet展示了在猴子大脑中看到的对意外刺激的反应行为,包括在简单前馈网络中难以复制的一些行为。
Kietzmann认为PredNet是一项非常了不起的工作。但是他与 Marcel van Gerven以及他们的团队所追求的是更根本性的东西: 无论是Rao和Ballard模型,还是PredNet,都纳入了用于预测和纠错的人工神经元,以及导致正确的自上而下预测抑制错误神经元的机制。 但如果这些都没有明确规定呢?Kietzmann表示很想知道是否真的需要这些架构来约束,或者是否可以用一种更简单的方法来解决这一问题。
一个想法突然浮现在Kietzmann和van Gerven的脑海中: 神经通讯是有能量成本的(大脑是人体中能量最密集的器官)。因此,为了保存能量,生物体内任何进化的神经网络的行为可能都会受到限制。
研究人员决定观察是否有任何预测编码的计算机制可能出现在 RNN 中,这些 RNN 必须使用尽可能少的能量来完成任务。他们认为,他们网络中的人工神经元之间的连接强度(也被称为权重),可以作为突触传输的代理,这也正是在生物神经元中需要消耗大部分能量的原因。Kietzmann说:"如果你减少人工神经元之间的权重,这意味着你用更少的能量进行交流。我们把这看作是最大限度地减少突触传输。"

为提高能量利用效率,大脑练就了预测感知能力

当PredNet这个具有预测编码架构的神经网络,被呈现在视频序列中的帧(上图),它学会了预测它们(下图)。
然后,该团队在多个连续数字序列上以升序、环绕顺序训练 RNN:1234567890,3456789012,6789012345等。每个数字都以28×28像素的图像形式显示给网络。RNN学会了一个内部模型,可以从序列中的任何随机位置开始预测下一个数字。但 该网络被迫用单元之间尽可能少的权重来做这件事,类似于生物神经系统中的低水平神经活动。
在这些条件下,RNN学会了预测序列中的下一个数字。其中一些人工神经元充当 "预测单元",代表预期输入的模型。其他神经元作为 "错误单元",在预测单元尚未学会正确预测下一个数字时最为活跃。当预测单元开始变得正确时,这些错误单元就变得“低调”了。值得一提的是, 该网络之所以采用这种架构,是因为它必须要尽量减少能量的使用。 Kietzmann说:"它只是学会了做人们通常明确地建立在系统中的那种抑制,我们的系统开启即用,作为一个突发事件来做,以达到节能的目的。"
将能量使用降到最低的神经网络最终会实施某种预测性处理,这证明生物大脑可能也在做同样的事情。
Rajan称Kietzmann的工作是一个 "非常巧妙的例子,说明了像能量最小化这样的自上而下的限制是如何间接地导致像预测编码这样的特定功能的"。这促使她思考RNN中特定错误和预测单元的出现是否可能是一个意外,是否只有网络边缘的神经元在接收输入。如果输入分布在整个网络中,"我下意识的猜测是,虽然你不会发现错误单元和预测单元之间的分离,但你仍然会发现预测活动"她说。



脑行为的统一框架

尽管这些来自计算研究的见解看起来很有说服力, 但最终只有来自活体大脑的证据才能说服神经科学家相信大脑中的预测处理。 为此,麦吉尔大学和魁北克人工智能研究所Mila的神经科学家和计算机科学家 Blake Richards和他的同事们制定了一些明确的假设,来说明他们应该在学习对意外事件进行预测的大脑中看到的事物。
为提高能量利用效率,大脑练就了预测感知能力
“大脑中的锥体神经元似乎在解剖学上适合预测性处理,因为它们可以分别整合来自邻近神经元的自下而上的信号和来自更远处的自上而下的信号。”
为了验证他们的假设,他们同西雅图艾伦脑科学研究所的研究人员对小鼠进行了实验,同时监测其大脑中的神经活动。特别令人感兴趣的是, 大脑新皮质中的某些锥体神经元从解剖学上来说适合预测处理。它们既能通过对其细胞体的输入接收来自附近神经元的局部自下而上的感觉信号,又能通过其顶端树突接收来自更远的神经元的自上而下的预测信号。
小鼠看到了许多Gabor斑块的序列,这些斑块由光和暗的条纹组成。小鼠们也开始期待每个序列中的所有四个斑点的方向大致相同。然后,研究人员意想不到地的突然将第四个Gabor补丁随机旋转到不同的方向。动物们起初很惊讶,但随着时间的推移,它们也开始期待这种惊喜。在这期间,研究人员一直在观察小鼠大脑中的活动。
他们观察到,许多神经元对预期和意外的刺激有不同的反应。重要的是,在测试的第一天, 这种差异在局部的、自下而上的信号中很强烈,但在第二天和第三天就减弱了。 在预测处理的背景下,由于刺激不那么强烈了,新形成的自上而下的期望开始抑制对传入的感觉信息的反应。
与此同时,顶端树突的情况则相反。它们对意外刺激的反应的差异随着时间的推移而增加。神经回路似乎正在学习更好地表示令人惊讶事件的特性,以便在下一次做出更好的预测。
"这项研究为类似预测性学习或预测性编码的东西正在新皮层中发生的想法提供了进一步的支持,"Richards说。
诚然,对神经元活动或动物行为的个别观察有时可以用大脑的一些其它模型来解释。例如,神经元对同一输入的反应减弱,而不是被解释为错误单元的抑制,可能只是由于适应过程。但是,"你会得到这整个‘电话簿’中对不同现象的解释,"de Lange说。
预测处理提供了一个统一的框架,可以一次性解释许多现象,因此它作为一种大脑工作原理的理论具有吸引力。 "我认为目前的证据是相当有说服力的,"Richards说,"实际上,我愿意在这个说法上投入大量资金。"

为提高能量利用效率,大脑练就了预测感知能力

版权文章,未经授权禁止转载。详情见 转载须知 。

为提高能量利用效率,大脑练就了预测感知能力

全局中部横幅
PC下载网

PC下载网提供绿色免费软件官方下载,打造绿色免费软件下载基地,常用软件下载,来PC下载网就够了

老鄢博客

老鄢的个人技术博客,主要记录php及linux知识点

中国吉林森工集团

中国吉林森林工业集团有限责任公司是我国四大森工集团、全国制造业500强及吉林省十大企业集团之一,辖区位于吉林省长白山林区,素有“长白林海”的美誉,是国家重要的生态屏障和木材生产基地。中国吉林森工集团前身为1950年成立的东北采伐公司,1994年经国家三部委批准成为全国首批大型试点企业集团,2006年改制为有限责任公司。集团总部位于吉林省长春市。

陕西老三届企业集团

陕西老三届实业有限责任公司老三届世纪星老三级首座盛邦物业陕西克力地产有限责任公司西安千秋置业有限责任公司

体检报告

康康在线是一款健康管理手机软件,拥有手机查询体检报告、电话咨询医生两大功能,体检者只要手机打开康康在线,立即可以实现手机查询体检报告,看不懂体检报告还能向医生电话咨询,帮助体检中心提供更快、更好的服务,提高服务质量和用户忠诚度。

河北大学图书馆

智慧门户平台提供在线自助建站服务。平台易用,用户使用拖拽方式、所见即所得,搭建过程轻松、零代码;具有丰富的模板体现不同行业的特征与风格;布局模块搭配样式模板,满足用户的各类样式需求;添加内容多方式,可本地添加和外接数据;持续统计分析数据,用户随时掌握网站概况。

金风科技(Goldwind)

金风科技(股票代码:002202),致力于推动能源变革,让人人可负担、可靠、可持续的能源惠及全球,构建“可持续更美好”的未来。全球清洁能源和节能环保领域领跑者,中国风能风电龙头企业,风电整机制造企业,全球新能源企业500强。金风科技深度聚焦能源开发、能源装备、能源服务、能源应用四大领域。为全球客户提供风力发电综合解决方案,覆盖风力发电设备设计、制造、供应、安装、运维,海上和陆上风电项目规划和施工,清洁能源投资管理等。

PROFINETF远程IO模块

工业级远程IO模块制造商无锡凌科自动化科技有限公司致力于工业自动化远程采集与控制模块的研发和生产,主要产品有分布式PROFINET远程IO模块(可替代ET200SP远程IO模块)、ETHERNET/IP远程IO模块等,广泛应用于新能源、半导体、3C电子、物流输送、包装印刷、纺织、环保等自动化设备、工程项目领域,专注于自动化技术,赋能工业智能化发展。

广东很久文化传播有限公司

很久文化在弘扬国学文化,传承中华传统文化的道路上,积极关注国民身、心、灵的成长,我们希望在秉承“信、德、仁、勇”的企业核心价值观和公益理念的基础上,更多的肩负起企业社会责任,打造成为对社会有价值,对人民有帮助,对国家有贡献的企业。

东莞阿里巴巴运营

东莞市中易网络科技有限公司是一家专注于全网整合营销推广服务商,主营:东莞阿里巴巴运营,东莞诚信通装修,东莞阿里巴巴代运营,1688店铺运营,1688旺铺装修,阿里巴巴装修,诚信通代运营,诚信通开户,阿里装修,阿里代运营,阿里托管.提升网络营销效果热线:13433038878

全局底部横幅