AI 基于神经网络模型的算法使机器学习透明化 黑箱难题怎么破 (ai神经网络介绍)

编者按：人们可以训练人工智能 （AI）和机器人完成任务，但整个过程在黑箱中运作。我们并不知道 AI 和机器人是如何决策的。一家名为 OptimizingMind 的初创公司想要解决这个问题。这篇文章将讲述该公司对建立透明 AI 决策过程的愿景和大胆尝试。本文发表于 TechRepublic，作者Hope Reese，原标题《 Transparent machine learning: How to create 'clear-box' AI

AI 领域的下一个大事件并不是教会 AI 完成某项任务，而是让机器向人们解释为什么它们做出了某项决策。 比方说，一个机器人决定走一条特定路线去仓库，又比如，一辆无人驾驶汽车决定向左或向右转。我们怎么知道 AI 为什么做出这些决定？

卡内基梅隆大学计算机科学教授 Manuela Veloso 是研究协作机器人的专家。他表示，能解释自身行为的 AI 对赢得大众对人工智能的信任至关重要。“我们需要质疑为什么算法程序会做出这样那样的决定，如果我们不在 AI 动机解释上花功夫，就无法信任这个智能系统。”

为解决该问题， 创业公司 OptimizingMind 发明了一项能观察智能机器决策过程的技术。

这个算法的目的是创造 “透明访问”系统，以呈现机器学习是如何做出预期（expectations）的。OptimizingMind 的负责人 Tsvi Achler 说：

有着神经科学、医药和计算机科学多重学科背景的 Achler 认为，我们能从人脑如何作出和解释决策中学习到很多（应用到 AI 的知识）。

“我感兴趣的是，大脑和计算机的共同点在哪里？为什么人脑可以在学会任何模型之后把它解释出来。如果我说 ‘章鱼’，你是否能告诉我那是什么？如果我问章鱼触手长什么样，你能告诉我吗？”

人能做到，AI 为什么不行？

他说，当人类观察到一个新模式（或规律）的时候，会立刻学会那个模式。这对 AI 暂时还不可能。 AI 的学习方法被称为批量学习。如果你想要对 AI 加入一个新模式或者新注解，你必须从头开始把所有的新旧模式重新教一遍。

Achler 开发的算法呈现出神经科学里的 “爆裂” 现象。当人观察到一个新模式时，多个神经元被同时激发，然后它们沉寂下来。当你向某人展示一个模式的时候，下一瞬间会发生神经兴奋，之后逐渐地平静下来。在这个算法里你会看到同样的事情。

实际上，这种研究方式是对传统机器学习进行了重新思考，Achler 认为该过程就像深度学习、感知器、支持向量机（SVM） 、 卷积神经网络（CNN）、递归神经网络（RNN）、反向传播等研究一样。研究者们并没有打算解决即时学习这一难题。 “这项技术的目的非常明确，那就是尝试解释 AI 是怎样思考的。没有人想过如何让系统变得更灵活或是更具可信度，而它的整体目标是让 AI 决策更容易被访问。”

OptimizingMind 是一种以人脑运行方式为基础的算法，旨在使开发者能“观察到系统内部，理解它们（AI 系统）在干什么，并且很方便地编辑它们，而无需从头开始训练”。这能让机器学习“一步到位”，而神经网络马上就能学会。举例来说，人们能告诉 Siri 某一个词的定义，然后它会被存储起来。今天神经网络还达不到这一点，它们需要用无数案例不断训练学习。

所以 “透明访问”系统是什么意思呢？根据 Achler 的说法， 这个系统提供了一种实时观察 AI 决策的方法。 它可以访问权重、特点和节点，提供能读取这些信息的灵活性，并且能改写它们。最终，这个系统能让我们理解神经网络是怎么做出一个决策的。这个工具能帮助工程师们大幅减少机器开发的时间，帮企业节省资源。

此外 Achler 还表示，在提供透明度之外，这个算法还可以被修改。不但预期（expectations）能被表达出来，每个单独预期还能随着新信息立刻改变。

今天，大多数机器学习的方法使用一个正反馈（feedforward）技术。风险投资公司 Naiss.io 的联合创始人 Ed Fernandez 说，正反馈使用优化过的权重执行任务。在正反馈系统里，独特性信息（ uniqueness information）依据训练中出现的频率被录入权重。这意味着整套训练中的权重必须经过优化。这又意味着 OptimizingMind 可以“根据正在被识别的模式执行优化”，这不是为了权重而优化，而是为了模式识别去优化。

当机器学习与商业更紧密结合，并成为无人驾驶和其他极其重要科技的基石，理解机器学习中到底发生了什么就变得至关重要。事实上， DARPA 最近启动了一项对可解释 AI （XAI，explainable artificial intelligence） 的投资。

正如 Veloso 教授说的：“我们不能假定 AI 系统完美无缺。”我们必须从 AI 的错误中学习。Veloso 表示，“如果某天发生了一起 AI 事故，我们必须避免它再次发生。”

via techrepublic

推荐阅读：

神经网络算法Batch Normalization的分析与展望 | 大牛讲堂

人工智能和深度学习的下一个风口在哪里？——余凯丨微软亚洲研究院院友会 （含22页PPT）

机器人也有好奇心，还能自己设定学习目标

原创文章，未经授权禁止转载。详情见 转载须知 。

上一篇：事故疑致谷歌搜索Gmail多项服务全球性宕机

下一篇：LeCun一小时演讲附完整视频YannFacebook研