Dean丨谷歌战神谈增强学习和无监督学习 专访 Jeff (谷live)
编者按：近日，谷歌大脑负责人 Jeff Dean 在接受 Fortune 杂志采访时讲述了他对无监督学习和增强学习在人工智能领域应用的看法，雷锋网进行编译。
下一次你在使用谷歌搜索引擎或者使用地图导航的时候，你需要记住他们背后有一个很大的大脑为你提供搜索结果，并确保你不会迷路。
当然，它并不是一个真正的大脑，而是谷歌大脑研究团队。《财富》杂志的 Roger Parloff 写到：
研究人员推动人工智能面临的挑战是什么？
无监督学习的不成熟。人类的学习方式可以看作是一种无监督学习，即你只需观察你周围的世界并理解事物的运行方式来丰富你的认知，无监督学习是机器学习非常热门的一个分支，但是它还未达到监督学习能解决任务的那个程度。
无监督学习是指如何从观察和感知当中学习的，如果计算机可以观察和感知，这是否可以帮助解决更复杂的问题？
没错，人的视觉主要通过无监督学习的方式获得训练。当你还是一个孩子的时候，你在观察世界时，有时你会得到一个监督的信号：比如有人说“这是一只长颈鹿”或者“这是一辆车”的时候，这些少量的监督数据就是你的心理模型对自然的回应，从而完成你对世界的认知。
我们需要更多地结合监督和无监督学习，就我们大多数机器学习的系统工作方式而言，我们还未真正到达那一步。
可否解释一下增强学习技术？
增强学习背后的逻辑是你未必需要明确你要采取的行动，你只要试探性地做一个你认为不错的行动，然后观察“世界”会有怎样的反应。如同下棋一样，你可根据你对手的行动来进行反应。最终在整个序列行为后得到奖赏信号。
增强学习是在你得到奖赏信号的同时，能将“信任”或“过失”分配到你。它在今天的某些领域非常有效。
当你所执行的任务状态非常宽泛时，此时使用强化学习就会遇到一些挑战。在现实世界中的某个固定时刻操作一个事项涉及到的执行范围可能非常广泛。而在棋盘游戏当中，你走的每一步棋都限定在一定的范围内，而且游戏规也会对你进行限制，这使得其奖赏信号的逻辑非常简单：要么赢，要么输。
如果我的任务是磨一杯咖啡或者其他，整个过程我也许需要采取一系列的动作，而且没有固定的评判标准，那么这个奖赏信号就不是那么清晰。
但你仍然可以分为很多步骤，如当你在现磨一杯咖啡时，你就会学习到如果没有在咖啡豆被冲泡之前把它们磨碎就会做出来一杯糟糕的咖啡。
对，我认为增强学习核心地方就是它需要探索。这种探索在物理环境当中使用有点困难。我们开始尝试把它应用在计算机当中，当机器人采取一系列行动时，它会被限制在一个指定时间中只可以采取有限数量动作的集合。然而在计算机模拟中，它更容易使用大量的计算机资源，并得到一百万个样本。
谷歌是否将增强学习应用在核心搜索产品中？
我们主要通过 DeepMind 和我们的数据中心操作人员之间的合作来将增强学习应用在核心产品中。它们使用强化学习来设置数据中心内的空调旋钮，并实现相同的、安全的冷却操作和操作条件，大幅降低能耗。他们能够发现哪些旋钮的设置可以起到一定的作用，以及当你以不同的方式转动旋钮时，它们会如何反应。
通过增强学习，可以发现这 18 个旋钮的设置，或者更多旋钮并未被操作人员考虑进去。了解这个系统的人会这样说：这真是一个奇怪的系统。但是事实证明，它们运行得确实不错。
增强学习更适用于哪些任务？
数据中心运行良好因为你一次需要执行的不同操作并不多。正像 18 个旋钮，你在那里可以上下旋转它们。这样结果是可以计算出来的。假设你在适当的、可接受的温度范围内工作，你就会得到一个让能耗降低的奖赏操作。从这个角度看，这差不多是一个理想的增强学习问题。
一个更具挑战性的强化学习案例是试图用它来决定我该显示什么样的搜索结果。这有一个更广泛的搜索结果集，我可以展示出不同查询的反应，并且奖赏信号本身就是一种小范围的噪音。就像用户看一个搜索结果，喜欢和不喜欢表现地不是那么明显。
如何判断用户在搜索中不喜欢某一个结果？
这的确是一个很难解决的问题。由于强化学习可能还不够成熟，以至于在一些极度无约束的环境中，奖赏信号还不是那么明显。
将研究成果应用于用户每天使用的产品时，有哪些比较大的挑战？
这里面其中一项就是，很多机器学习问题的解决方案和我们对这些解决方案的研究可以在不同的领域中重复使用：我们与地图团队合作了一些研究，他们想要读取出现街头所有店铺和 Logo，从而更好地了解世界，比如确定这里是披萨店还是其他。
为了在图像中找到文本，你可以训练一个机器学习模型，并给它一些样本，比如人们在文本周围画一个圆圈或者方框。实际上，你可以用它来训练模型去检测哪些图像中包含文本。
这是一个普遍适用的功能，地图团队中的不同部门可以重复使用以上模型来完成卫星图像分析任务，比如在美国境内或者世界范围内找到一个屋顶或者估计在屋顶上的太阳能电池板的安装位置。
随后我们发现，相同类型的模型可协助我们解决医疗成像的初步工作。现在你有了医学图像，你可以试图找到那些与临床相关图像的有趣部分。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/e1906bc9f608d90b5597.html
跨越电子专业导热硅胶片,导热双面胶,散热石墨片,灌封胶生产厂家,提供一站式导热散热解决方案，打造导热材料实力品牌!24小时服务热线：400-6655-196
苏州泰力精密紧固件有限公司是一家生产，加工，销售一系列国标非标紧固件为整体的紧固件公司，产品包括：六角螺丝，螺帽，垫片，弹垫，干壁钉，纤维板钉，十一字槽螺丝，大扁头螺丝，全牙螺丝，双头螺等等。
寻找专业的CMS网站建设服务？【辣辣建站吧】是您的首选。我们是一家专业的CMS网站建设开发工作室，专注于为客户提供定制化的CMS网站建设开发服务。凭借我们的专业技术和丰富经验，我们致力于为客户提供高品质的网站解决方案。联系我们，让我们共同实现您的网站梦想！
江苏小度网络运营服务有限公司定位于全网数字营销专家，公司服务范畴有：google优化推广，外贸seo整站优化，谷歌推广竞价广告，词条创建，百度seo推广，内外贸网站建设，以及facebook推广，外贸代运营等服务。拥有专业海外推广团队及执创人员，十年以上专业内外贸推广经验，为您的网站量身定制打造高质量的流量及询盘。
慕尚视觉科技有限公司为各类客户提供数字化安全教育体验馆,多功能安全教育体验馆,定制化安全教育体验馆,数字化安全教育体验馆,反诈体验馆等数字展厅建设
3G游戏网提供最新、最热门的手机游戏、手机应用免费下载，致力于为用户带来最好玩的手机游戏以及最好用的手机app，我们每天都会更新许多游戏和应用，保证你可以在这里找到自己需要的内容。
苏州弗士达科学仪器有限公司，专业研发生产光学测试系统，高精度光学仪器，提供全方位的光学测试解决方案。
界面科学仪器(北京)有限公司是专业的接触角测量仪供应商，主营产品有：接触角测量仪等,界面科学仪器(北京)有限公司不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
甘肃胜利工程建设有限公司成立于2009年8月，注册资本5180万元，是一家以体育场馆建设为主业，实行多元化经营的建筑施工企业。秉承“做专、做精、做强、做大、追求卓越”的发展战略，自成立以来在体育场馆建设、体育工艺施工和场馆智能化领域孜孜不倦的深耕细作，使企业在体育工程行业中处于领先位置。
江楠鲜品，是一家专业的生鲜供应链服务平台，本着“让中国人吃的放心”的使命，努力为客户搜罗来自全球各地最极致的美味，并且做到追踪溯源。
食品网,食品招商网,食品企业网,中国食品网,世界食品网,食品行业门户
现在，市面上有好多既有趣又能学知识的数学游戏大闯关，这些游戏可以提升玩家的数学能力，小编就给大家整理了一份数学游戏的榜单，能让孩子们在玩乐中喜爱上数字和计算，还能让小朋友的思维跑起来，这些数学游戏，它们不仅仅是简单的加减乘除，还能不知不觉就掌握了数学的奥秘，1、，极速数学，这款游戏就像是给孩子的数学认知装上了加速器，每一关都藏着有趣的...。
随着越来越多新生儿的降生，婴幼托教机构的兴起是必然的，市面上有很多种类的婴幼托教，金睿家婴幼托教就是其中一家机构，该品牌是一家很有实力和影响力的婴幼托教机构，这也吸引了很多想要加盟者的目光，那么金睿家婴幼托教在哪些地方有实体店呢?其实金睿家婴幼托教在全国很多地方都有着加盟实体店，接下来让小编为大家介绍一下这个品牌的加盟优势以及其余吧，...。
编者按，2017年2月4日，9日，人工智能领域的最重磅会议之一、第31届人工智能大会，AAAI，17，在美国旧金山举行，AI科技评论全程参与了本次会议并进行了报道，并独家采访了AAAI协会主席SubbaraoKambhampati，Rao，SubbaraoKambhampati，Rao，马里兰大学计算机科学系博士毕业，2000年成...。
打着，扶贫济困、均富共生，口号，善心汇于2016年5月进入大众视野，它以精准扶贫等名义，以微信群拉会员收取投资费用等方式，以高额回报为诱饵，吸引了高达550万人的参与，近日，据雷锋网了解，这个传销组织的头目终于被绳之以法，按照公安部统一部署，从昨天开始，全国各地公安机关依法对广东深圳市善心汇文化传播有限公司法定代表人张天明等人涉嫌组织...。
时隔两年，埃安终于拿出了一款全新的车型来应对日益激烈的市场竞争，日前，第二代AIONV埃安霸王龙正式上市，共推出520km、650km、750km三种续航7个配置版本，售价区间为12.98万，18.98万元，对于这款车型，埃安的目标是成为细分市场的前二，纯电A级市场13万，19万之间的市场，我的野心是要做老大，但是在这个之前我先争取...。
1.中国提出了四点智慧与方案，以应对世界经济发展中的挑战，坚持改革创新，挖掘增长动力，坚持与时俱进，完善全球治理，坚持迎难而上，破解发展瓶颈，坚持伙伴精神，妥善处理分歧，2.中国为应对世界经济的挑战指明方向，并通过以下五项重大举措展现其负责任大国形象，开放市场，主动扩大进口，持续改善营商环境，全面实施平等待遇，大力推动...。
2024年7月1日，我在滴滴平台上租车跑滴滴，任务人员引见完后示意滴滴平台都是先交定金，而后签好租车合同，最后调配车辆，且车辆都是非法合规的，可以反常从事网约车服务的车，合同上也明白载明所租车辆是可以非法合规从事网约车服务的，到最后调配来的车，行驶证上写的却是非营运性质车辆，且轮毂变形，左后胎压监测一......。
1、纪念碑谷这是一款令人可以脑洞大开的游戏，经过视错觉原理让公主找到归宿，而且处处都分发着清爽的气息，这是我在闲暇期间十分青睐的游戏，2、未上锁的房间这个游戏共有四关，每一关都是一个粗劣的柜子，外面蕴含着层层叠叠的机关，精巧而环环相扣，在解锁，却更似寻宝，目前该系列游戏已出到第三部，精巧的画面，奥妙的机关，总能让你惊叹的谜题，再加上恰...。
处女座外表上快乐开朗，其实心里多半比拟痛苦，他们仿佛可以随便地忘掉昨夜痛彻心扉的哭声，人不知，鬼不觉地进入第二天乐得合不拢嘴的形态，处女座的痛苦多来自于家庭的不合和在友谊、恋情上的失意，处女座外表上或者会给人小气无私的笼统，但实则是不了解他们的人的误识，他们假设显得很小气的话，兴许是由于他们的极端小气曾招来些对自己的损伤，因此他们在找...。
公众Viloran330TSI是一款什么样的车，公众Viloran330TSI的中文名为威然，它是公众品牌首款大型奢侈商务车MPV，驳回了最新的家族化设计言语，能源方面，它搭载了2.0T高功率发起机，上汽公众Viloran于2020年5月28日正式上市，viloran是什么上海公众系列的车威然，Viloran，是上海公众旗下的一款中大...。
由背阴区文联制造的，舞动亮马河，MV正式上线啦！，舞动亮马河，的创作灵感来自于春节前夕火爆世界的舞蹈，科目三，，在原版舞步的基础上，背阴区文联推出了背阴大众版，科目三，，蕴含街舞版、民族舞版、儿童舞版，组织背阴区的专业街舞舞者、百余名街乡舞蹈喜好者、本国舞者，以及小好友们，区分在亮马河畔情谊广场、国际风情水岸岸边、铂宫闸甲板上、亲水平...。
今天突然服务器接口默认的主机头打开报错，错误信息是：http1.1新建应用程序失败，很奇怪，后来经过研究才发现是改动了IIS名字，分享下如何解决的。解决方法很简单：1.退出IIS重新启动2.然后点击：应用池程序-DefaultAppPool-重新启动下DefaultAppPool3.再把网
万能锁怎么破解不带钥匙?今天给大家解答一个万能锁不带破解不带钥匙的问题，很多玩家在使用安卓软件万能锁下载的时候都是带钥匙才能连上的，下面一起来了解下吧!wifi万能钥匙能够连接wifi热点，其实是连接上共享的wifi网络的账号和密码，wifi万能钥匙在连接
今天突然服务器接口默认的主机头打开报错，错误信息是：http1.1新建应用程序失败，很奇怪，后来经过研究才发现是改动了IIS名字，分享下如何解决的。解决方法很简单：1.退出IIS重新启动2.然后点击：应用池程序-DefaultAppPool-重新启动下DefaultAppPool3.再把网
网络输入法，作为一款深受用户喜欢的默认输入法软件，以其精准的词库婚配、高效的输入体验和丰盛的共性化性能，在泛滥输入法中锋芒毕露，官方作为网络输入法的官方消息颁布和资源下载平台，不只提供了最新版本的软件下载服务，还会聚了详尽的产品引见、经常使用教程和客服允许，确保用户能够轻松失掉到最片面、最及时的网络输入法关系消息，下载地址，电脑经常...。
长城腾翼C20R是一款适宜年轻人的市区SUV车型，外观时兴动感，内饰简洁温馨，性价比极高，那么，它的多少钱是多少呢，首先，C20R的售价比拟亲民，这也是它备受年轻人青眼的重要要素之一，依据不同性能来计算多少钱，最低的裸车多少钱大略在6万左右，而最高的全配版多少钱则在9万左右，总体来说，这个多少钱区间还是比拟正当的，至于C20R的详细售...。
由背阴区文联制造的，舞动亮马河，MV正式上线啦！，舞动亮马河，的创作灵感来自于春节前夕火爆世界的舞蹈，科目三，，在原版舞步的基础上，背阴区文联推出了背阴大众版，科目三，，蕴含街舞版、民族舞版、儿童舞版，组织背阴区的专业街舞舞者、百余名街乡舞蹈喜好者、本国舞者，以及小好友们，区分在亮马河畔情谊广场、国际风情水岸岸边、铂宫闸甲板上、亲水平...。
