贝叶斯深度学习 一个统一深度学习和概率图模型的框架 (贝叶斯详解)
人工智能（AI）的进展显示，通过构建多层的深度网络，利用大量数据进行学习，可以获得性能的显著提升。但这些进展基本上是发生在感知任务中，对于认知任务，需要扩展传统的AI范式。
4月9日，罗格斯大学计算机科学系助理教授王灏，在AI TIME青年科学家——AI 2000学者专场论坛上，分享了一种基于贝叶斯的概率框架，能够统一深度学习和概率图模型，以及统一AI感知和推理任务。
据介绍，框架有两个模块：深度模块，用概率型的深度模型表示；图模块，即概率图模型。深度模块处理高维信号，图模块处理偏推断的任务。
以下是演讲全文，AI科技评论做了不改变原意的整理：
今天和大家分享关于贝叶斯深度学习的工作，主题是我们一直研究的概率框架，希望用它统一深度学习和概率图模型，以及统一AI感知和推理任务。
众所周知，深度学习加持下的AI技术已经拥有了一定的视觉能力，能够识别物体；阅读能力，能够文本理解；听觉能力，能够语音识别。但还欠缺一些思考能力。
“思考”对应推理推断任务，具体指它能够处理复杂的关系，包括条件概率关系或者因果关系。
深度学习适合处理感知任务，但“思考”涉及到高层次的智能，例如决策数据分析、逻辑推理。概率图由于能非常自然的表示变量之间的复杂关系，所以处理推理任务具有优势。
如上图，概览图示例。任务是：想通过目前草地上喷头开或关，以及外面的天气来推断外面的草地被打湿的概率是多少，也可以通过草地被打湿反推天气如何。概率图的缺点是无法高效处理高维数据。
总结一下，深度学习比较擅长感知类的任务，不擅长推理、推断任务，概率图模型擅长推理任务，但不擅长感知任务。
很不幸，现实生活中这两类任务一般是同时出现、相互交互。因此，我们希望能够把深度学习的概率图统一成单一的框架，希望达到两全其美。
我们提出的框架是贝叶斯深度学习。有两个模块：深度模块，用概率型的深度模型表示；图模块，即概率图模型。深度模块处理高维信号，图模块处理偏推断的任务。
值得一提的是，图模块本质是概率型的模型，因此为了保证能够融合，需要深度模型也是概率型。模型的训练可以用经典算法，例如MAP、MCMC、VI。
给具体的例子，在医疗诊断领域，深度模块可以想象成是医生在看病人的医疗图像，图模块就是医生根据图像，在大脑中判断、推理病症。从医生的角度， 医疗图像中的生理信号是推理的基础，优秀的能力能够加深他对医疗图像的理解。
引申一下，电影推荐系统里，可以把深度模块想象成是对电影的视频情节、演员等内容的理解，而图模块需要对用户喜好、电影偏爱之间的相似性进行建模。进一步，视频内容理解和“喜好”建模也是相辅相成的。
具体到模型细节，我们将概率图模型的变量分为三类：深度变量，属于深度模块，假设产生于比较简单的概率分布；图变量，属于图模块，和深度模块没有直接相连，假设它来自于相对比较复杂的分布；枢纽变量，属于深度模块和图模块中相互联系的部分。
下面介绍该框架是如何在实际应用中效果。
推荐系统基本假设是：已知用户对某些电影的喜好，然后希望预测用户对其他电影的喜好。
可以将用户对电影的喜爱写成评分矩阵（Rating Matrix），该矩阵非常稀疏，用来直接建模，得到的准确性非常低。在推荐系统中，我们会依赖更多的信息，例如电影情节、电影的导演、演员信息进行辅助建模。
为了对内容信息进行建模，并进行有效提纯，有三种方式可供选择：手动建立特征，深度学习全自动建立特征、采用深度学习自适应建立特征。显然，自适应的方式能够达到最好的效果。
不幸的是，深度学习固有的独立同分布假设，对于推荐系统是致命的。因为假设用户和用户之间没有任何的关联的，显然是错误的。
为了解决上述困难，我们推出协同深度学习，能够将“独立”推广到“非独立”。该模型有两个挑战：
1.如何找到有效的概率型的深度模型作为深度模块。希望该模型能够和图模块兼容，且和非概率型模块的效果相同。
2.如何把深度模块连接到主模块里，从而进行有效建模。
来看第一个挑战。自编码器是很简单的深度学习模型，一般会被用在非监督的情况下提取特征，中间层的输出会被作为文本的表示。值得一提的是，中间层的表示它是确定性的，它不是概率型的，和图模块不兼容，无法工作。
我们提出概率型的自编码器，区别在于将输出由“确定的向量”变换成“高斯分布”。概率型的自编码器可以退化成标准自编码器，因此后者是前者的一个特例。
如何将深度模块与图模块相联系？先从高斯分布中提出物品j的隐向量：
然后从高斯分布中，提取出用户i的隐向量：
基于这两个隐向量们就可以从另外高斯分布采样出用户i对物品j的分布，高斯分布的均值是两个隐向量的内积。
上图蓝框表示图模块。定义了物品、用户、评分等等之间的条件概率关系。一旦有了条件概率关系，就能通过评分反推用户、物品的隐向量，可以根据“内积”预测未知的背景。
上图是整个模型的图解，其中λ是控制高斯分布方差的超参数。为了评测模型效果，我们用了三个数据集：citeuLike-a、citeulike-t、Netflix。对于citeulike是用了每篇论文的标题和摘要，Netflix是用电影情节介绍作为内容信息。
实验结果如下图所示，Recall@M指标表示，我们的方法大幅度超越基准模型。在评分矩阵更加稀疏的时候，我们模型性能提高幅度甚至可以更大。原因在于，矩阵越稀疏，模型会更加依赖内容信息，以及从内容提取出来的表示。
推荐系统性能提升能够提升企业利润，根据麦肯锡咨询公司的调查，亚马逊公司中35%的营业额是由推荐系统带来的。这意味着推荐系统每提升1%个点，都会有6.2亿美金的营业额提升。
小结一下，到目前为止，我们提出了概率型的深度模型作为贝叶斯深度学习框架的深度模块，非概率型的深度模型其实是概率型深度模型的特例。针对深度的推荐系统提出层级贝叶斯模型，实验表明该系统可以大幅度推荐系统的效率。
给定一个图，我们知道边，并了解节点的内容。此图如果是社交网络，其实就是表示着用户之间的朋友关系，节点内容就是用户贴在社交平台上的图片或者文本。这种图关系，也可以表示论文的标题、摘要、引用等等联系。
我们的任务是希望模型能够学习到节点的表达，即能够捕获内容信息，又能够捕获图的信息。
解决方案是基于贝叶斯深度学习框架，设计关系型的概率自编码器。深度模块专门负责处理每个节点的内容，毕竟深度学习能够在处理高维信息是有优势的；图模块处理节点节点之间的关系，例如引用网络以及知识图谱复杂的关系。
在医疗领域，我们关注医疗监测。任务场景是：家里有小型雷达，会发射信号，设计的模型希望能够根据从病人身上反射的信号，发现病人是否按时用药、用药的次序是否正确。问题在于：用药的步骤非常复杂，需要理清顺序。
基于贝叶斯深度学习概率框架方法，用深度模块处理非常高维的信号信息，用图模块对在医疗专有知识进行建模。
值得一提的是，即使对于不同应用的同一模型，里面的参数具有不同的学学习方式，例如可以用MAP、贝叶斯方法直接学习参数分布。
对于深度的神经网络来说，一旦有了参数分布，可以做很多事情，例如可以对预测进行不确定性的估计。另外，如果能够拿到参数分布，即使数据不足，也能获得非常鲁棒的预测。同时，模型也会更加强大，毕竟贝叶斯模型等价于无数个模型的采样。
下面给出轻量级的贝叶斯的学习方法，可以用在任何的深度学习的模型或者任何的深度神经网络上面。
我们的关键思路是：把神经网络的神经元以及参数，看成分布，而不是简单的在高维空间的点或者是向量。允许神经网络在学习的过程中进行前向传播、后向传播。因为分布是用自然参数表示，该方法命名为NPN（natural-parameter networks）。
• Collaborative deep learning for recommender systems. Hao Wang, Naiyan Wang, Dit-Yan Yeung. Twenty-First ACM SIGKDD Conference on
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/35d55fceea12eaa78092.html
公司采用短流程冶金生产工艺，现有40吨电弧炉4座，全连轧棒材轧制生产线两条，全高速线材轧制生产线一条，具有年炼钢160万吨、轧材160万吨。
Teambition是阿里巴巴旗下团队协作工具，以项目和任务的可视化管理来支撑企业团队协作，适合产品、研发、设计、市场、运营、销售、HR等各类团队，让企业协同化繁为简，轻松愉悦。
手机星系探索在线玩,星系探索html5游戏是一款简单好玩的消除游戏，星系的奥秘一直是神秘且变化莫测的，我们喜欢未知的世界，也喜欢在未知领域中发现新世界，进入星系世界后让我们一起探索宇宙的奥秘。;您可以免费在线玩。
门道云是一家以3D数字技术、CAD技术研发为主的高科技互联网公司，产品有门窗云设计、全屋/别墅云设计、阳光房云设计、门道云APP、门道CAD、门道云制造、立窗ERP等产品，为家装客户提供“品牌推广、终端引流、云端设计、场景销售、柔性生产、设备对接、安装服务”全流程闭环。
微帮推广平台，微帮同城便民信息发布推广，帮助你快速查询推广便民信息，包含微帮同城求职招聘、房屋租售、二手交易、本地服务、生意转让、优惠信息、招商加盟、顺风车、农林牧渔、同城吃喝玩乐等当地便民信息，微帮推广平台服务全国。
德州骏日汽车制造有限公司始创于2016年，位于山东省德州市武城县工业园区，厂房面积14000平方米，现有员工195人，主要从事非公路用电动车的开发及生产，现有产品电动观光车、高尔夫车、电动巡逻车、电动扫地车、电动洗地机、高压冲洗车、洒水车、垃圾清运车等产品，已销往世界各地。全国咨询电话：15315810177/13792239799
中创智造（辽宁）轨道交通有限公司主要生产轨道维修机械如捣固镐|钢轨钻孔机|钢轨锯轨机|钢轨打磨机|螺栓扳手|起拨道器|轨缝调整器|钢轨拉伸机|测量仪器|铁路工具等系列铁路工务养护设备。品牌为中创智达，该网站记录着关于铁路设备的技术参数及使用流程，具体详情欢迎咨询。
远东电缆有限公司创建于1985年，是远东控股集团旗下上市公司远东智慧能源股份有限公司的全资子公司，远东控股集团现为中国企业500强、中国民营企业500强及中国最佳雇主企业，品牌价值高达1169.37亿元，拥有8000余员工。
苏州市东吴厨房设备有限公司
AI实景无人直播系统，不请主播，不请达人，最低一部手机直播，降低商家直播带货成本，支持抖音、视频号、快手、美团、平多多、京东、Tiktok
上海全筑控股集团股份有限公司于1998年创立（股票代码:603030）。坚持以科技创新为核心竞争力，拥有市场、设计、建造、生产、运营、服务于一体的整体解决方案。旗下构筑了澳锘设计集团、全筑建造、全筑家居、全筑智慧科技及海外事业群，以全产业链协同共进服务城市建设全领域。
快点八是专业、真实的分类信息类门户网站,的个人或企业均可在此免费发布各行各业的分类信息.
今天小编我给大伙们带来的是2025合成球球的游戏有哪些有关介绍，踏入合成的奇幻天地，各种元素等你融合，简单操作，无限可能，一场充满创意与惊喜的合成冒险即将启程，小编精心整理出了些值得一玩的游戏，要是你热衷于这类游戏，那务必要细致查看，游戏伊始，标有数字的小球便布满屏幕，玩家需凭借精准且巧妙的滑动操作，推动一样数字的小球相互碰撞，实现合...。
5月29日消息，在最近的索尼PlayStationShowcase发布会后，媒体和玩家们给出的反馈褒贬不一，而索尼互动娱乐SIE首席执行官JimRyan对此次发布会持有乐观态度，在昨日的新闻稿中，他表示，发布会展示了索尼向粉丝们提供最佳和最多样游戏阵容的坚定承诺，我们的粉丝们期待并值得这些精彩游戏，今天的发布会展示了我们的坚定承诺...。
昨晚，微软Build2017大会继续进行，相比第一天，第二天的主题演讲与消费者和公司的粉丝们更相关，微软的高管们共同分享了关于Windows10即将到来一些细节，其中包括微软应用程序的新设计理念、混合现实MR的进展，演讲内容很多，时间也很长，雷锋网总结了一些比较重要的消息，Windows10FallCreators更新FallCrea...。
有人爱吃肉类食物，就会有人爱吃素食，当然，吃素食的这一部分人里也有因为身体原因不能吃荤腥的，但总而言之，常吃素食对于身体并不会造成危害，而且已经成为了一种潮流的生活方式，因为人们对素食有了需求，所以市面上的素食餐厅越开越多，今天，小编就来介绍一下素食餐厅加盟排行榜，让大家有参考可依，排行榜一、功德林素食功德林是上海一家有着八十多年历史...。
2019年3月，国家卫生健康委首次提出了智慧医院的概念，在政策和云计算、大数据、物联网等新技术的不断推动下，我国医疗信息化进程将加快推进，未来的智慧医院建设和实现，需要实现院内的智慧管理、智慧服务和智慧医疗，不断提升院内医疗服务的质量、体验和效率；在院内智慧化升级的基础上，实现院间、区域间甚至省级的系统联动和数据共享，实现外延式的智慧...。
外地期间7月28日，美国中央司令部颁布公报称，美，罗斯福，号航母被部署至美国第五舰队的作战区域内，△美，罗斯福，号航母，资料图，美国第五舰队的作战区域笼罩约250万平方英里的水域，包含阿拉伯湾、红海、阿曼湾、亚丁湾、阿拉伯海和印度洋的局部地域，此前被部署在该区域的美军，艾森豪威尔，号航母已于6月22日撤退红海回国，此前报道美，艾森豪威...。
魅影是劳斯莱斯的跑车，幻影是劳斯莱斯的大型奢侈轿车，这两款车经常使用不同的发起机、不同的车身尺寸、不同的多少钱和不同的外观设计，幻影是苹果6.7升双涡轮增压v魅影驳回6.6升双涡轮增压发起机v12发起机，幻影发起机具有571马力和900牛米的最大扭矩，该发起机的最大功率转速为每分钟5000转，最大扭矩转速为每分钟1700转，该发起机装...。
牧马人是JEEP品牌下的一个车系，JEEP是美国的品牌，关于牧马人的关系引见如下，1.外观，新款牧马人在坚持2013款霸气笼统的基础上，启动了一些细节改良，2014款Jeep牧马人新增了烈焰红、清水蓝、大漠黄、秋叶橙等四款色感丰满的颜色，加上六款经典保管的颜色，共为生产者提供了10款色调选用，2.四驱系统，Rock，Trac领有结构坚...。
为什么苹果手机不可下载豌豆荚，豌豆荚是一款出名的安卓运行商店，然而苹果手机却不可下载该运行，这是由于苹果手机驳回的是iOS系统，与安卓系统不同，因此不可间接下载安卓运行，此外，豌豆荚也没有推出iOS版本的运行，因此不可在苹果手机上经常使用，苹果手机下载安卓运行的处置方法只管苹果手机不可间接下载安卓运行，然而有一些处置方法可以让苹果手机...。
俄罗斯或复原消费此前被制止的中短程导弹，增强远程打击才干和威慑力，据央视资讯报道，俄罗斯总统普京在6月28日在俄联邦安保会议常务委员会上示意，因为美国违犯，中导公约，等无关协定，俄罗斯应复原消费此前被制止的中短程导弹，这一动作是为了确保俄罗斯的片面安保，普京示意，美国已将中短程导弹运到欧洲用于军演，还以演习为由在菲律宾部署陆基中程导弹...。
2024中超第13轮对手间历史战绩_足球416_新浪博客,足球416,
急救专题,提供急救的相关文章和相关资讯,在本栏目你可以看到急救这个内容的相关各类文章很多篇,如有不足请提供给我们更多急救的文章供大家查阅.
4月25日，在第四届数字中国建设峰会软件开源生态分论坛上，开源软件供应链安全实验室正式启动成立，该实验室是由360集团联合国家工业信息安全发展研究中心、中国科学院软件研究所、北京航空航天大学软件学院、北京大学软件工程国家工程研究中心、开源中国共同发起，将聚焦开源生态治理重点需求和开源软件供应链薄弱环节，加强理论和前沿技术研究，搭建技术...。
将最珍贵、最值钱的东西用什么锁住，是我们不知道从哪一辈祖先那里习得的行为，当然，也许是从锁的诞生开始，图片来源，搜狐所有者，搜狐，现在，世面上的锁越来越高级和复杂，但是，我们也遇到了更难保存和保密的财富——数据，给数据上锁可能是更难的事情，数据跟普通的物品最大的不同是，它在被人使用的过程中有可能很容易就被复制，而它的，分身，与正主可...。
2019年2月的整个下旬，位于伊比利亚半岛东北部的海滨城市西班牙巴塞罗那，凭借于此举行的世界移动大会，MWC2019，，成为全球相关科技公司大秀肌肉、一展风采的舞台，同时也成为众多厂商、行业观察者、科技爱好者一同聚集的圣地，作为一家以，智能&，未来，为核心关注点的科技媒体，雷锋网也派出编辑亲临巴塞罗那，在汹涌澎湃的科技浪潮中，试...。
金秋时节，全球智博会在金鸡湖畔如约而至，9月15日上午9时，2021全球人工智能产品应用博览会，AIExpo2021，在苏州国际博览中心盛大开幕，AIExpo2021由苏州市人民政府指导、新一代人工智能产业技术创新战略联盟、苏州市人工智能协同创新中心联合主办，是国内最具专业性、国际化、高规格的四大人工智能展会之一，也是国内首个在国家，...。
市场调研在开设无人成人用品店之前，需要进行市场调研，了解当地市场需求、竞争情况以及相关法律法规，这有助于选择合适的店铺位置、采购合适的商品和制定的运营策略，办办理营业执照、税务登记、卫生许可证，部分地区还需办理器械经营许可证，这些证件是合法经营的基础，需要提前准备好相关材料并按照规定流程进行办理，选址选择人流量密集但非繁华地段，如居民...。
