贝叶斯深度学习 一个统一深度学习和概率图模型的框架 (贝叶斯详解)
人工智能（AI）的进展显示，通过构建多层的深度网络，利用大量数据进行学习，可以获得性能的显著提升。但这些进展基本上是发生在感知任务中，对于认知任务，需要扩展传统的AI范式。
4月9日，罗格斯大学计算机科学系助理教授王灏，在AI TIME青年科学家——AI 2000学者专场论坛上，分享了一种基于贝叶斯的概率框架，能够统一深度学习和概率图模型，以及统一AI感知和推理任务。
据介绍，框架有两个模块：深度模块，用概率型的深度模型表示；图模块，即概率图模型。深度模块处理高维信号，图模块处理偏推断的任务。
以下是演讲全文，AI科技评论做了不改变原意的整理：
今天和大家分享关于贝叶斯深度学习的工作，主题是我们一直研究的概率框架，希望用它统一深度学习和概率图模型，以及统一AI感知和推理任务。
众所周知，深度学习加持下的AI技术已经拥有了一定的视觉能力，能够识别物体；阅读能力，能够文本理解；听觉能力，能够语音识别。但还欠缺一些思考能力。
“思考”对应推理推断任务，具体指它能够处理复杂的关系，包括条件概率关系或者因果关系。
深度学习适合处理感知任务，但“思考”涉及到高层次的智能，例如决策数据分析、逻辑推理。概率图由于能非常自然的表示变量之间的复杂关系，所以处理推理任务具有优势。
如上图，概览图示例。任务是：想通过目前草地上喷头开或关，以及外面的天气来推断外面的草地被打湿的概率是多少，也可以通过草地被打湿反推天气如何。概率图的缺点是无法高效处理高维数据。
总结一下，深度学习比较擅长感知类的任务，不擅长推理、推断任务，概率图模型擅长推理任务，但不擅长感知任务。
很不幸，现实生活中这两类任务一般是同时出现、相互交互。因此，我们希望能够把深度学习的概率图统一成单一的框架，希望达到两全其美。
我们提出的框架是贝叶斯深度学习。有两个模块：深度模块，用概率型的深度模型表示；图模块，即概率图模型。深度模块处理高维信号，图模块处理偏推断的任务。
值得一提的是，图模块本质是概率型的模型，因此为了保证能够融合，需要深度模型也是概率型。模型的训练可以用经典算法，例如MAP、MCMC、VI。
给具体的例子，在医疗诊断领域，深度模块可以想象成是医生在看病人的医疗图像，图模块就是医生根据图像，在大脑中判断、推理病症。从医生的角度， 医疗图像中的生理信号是推理的基础，优秀的能力能够加深他对医疗图像的理解。
引申一下，电影推荐系统里，可以把深度模块想象成是对电影的视频情节、演员等内容的理解，而图模块需要对用户喜好、电影偏爱之间的相似性进行建模。进一步，视频内容理解和“喜好”建模也是相辅相成的。
具体到模型细节，我们将概率图模型的变量分为三类：深度变量，属于深度模块，假设产生于比较简单的概率分布；图变量，属于图模块，和深度模块没有直接相连，假设它来自于相对比较复杂的分布；枢纽变量，属于深度模块和图模块中相互联系的部分。
下面介绍该框架是如何在实际应用中效果。
推荐系统基本假设是：已知用户对某些电影的喜好，然后希望预测用户对其他电影的喜好。
可以将用户对电影的喜爱写成评分矩阵（Rating Matrix），该矩阵非常稀疏，用来直接建模，得到的准确性非常低。在推荐系统中，我们会依赖更多的信息，例如电影情节、电影的导演、演员信息进行辅助建模。
为了对内容信息进行建模，并进行有效提纯，有三种方式可供选择：手动建立特征，深度学习全自动建立特征、采用深度学习自适应建立特征。显然，自适应的方式能够达到最好的效果。
不幸的是，深度学习固有的独立同分布假设，对于推荐系统是致命的。因为假设用户和用户之间没有任何的关联的，显然是错误的。
为了解决上述困难，我们推出协同深度学习，能够将“独立”推广到“非独立”。该模型有两个挑战：
1.如何找到有效的概率型的深度模型作为深度模块。希望该模型能够和图模块兼容，且和非概率型模块的效果相同。
2.如何把深度模块连接到主模块里，从而进行有效建模。
来看第一个挑战。自编码器是很简单的深度学习模型，一般会被用在非监督的情况下提取特征，中间层的输出会被作为文本的表示。值得一提的是，中间层的表示它是确定性的，它不是概率型的，和图模块不兼容，无法工作。
我们提出概率型的自编码器，区别在于将输出由“确定的向量”变换成“高斯分布”。概率型的自编码器可以退化成标准自编码器，因此后者是前者的一个特例。
如何将深度模块与图模块相联系？先从高斯分布中提出物品j的隐向量：
然后从高斯分布中，提取出用户i的隐向量：
基于这两个隐向量们就可以从另外高斯分布采样出用户i对物品j的分布，高斯分布的均值是两个隐向量的内积。
上图蓝框表示图模块。定义了物品、用户、评分等等之间的条件概率关系。一旦有了条件概率关系，就能通过评分反推用户、物品的隐向量，可以根据“内积”预测未知的背景。
上图是整个模型的图解，其中λ是控制高斯分布方差的超参数。为了评测模型效果，我们用了三个数据集：citeulike-a、citeulike-t、Netflix。对于citeulike是用了每篇论文的标题和摘要，Netflix是用电影情节介绍作为内容信息。
实验结果如下图所示，Recall@M指标表示，我们的方法大幅度超越基准模型。在评分矩阵更加稀疏的时候，我们模型性能提高幅度甚至可以更大。原因在于，矩阵越稀疏，模型会更加依赖内容信息，以及从内容提取出来的表示。
推荐系统性能提升能够提升企业利润，根据麦肯锡咨询公司的调查，亚马逊公司中35%的营业额是由推荐系统带来的。这意味着推荐系统每提升1%个点，都会有6.2亿美金的营业额提升。
小结一下，到目前为止，我们提出了概率型的深度模型作为贝叶斯深度学习框架的深度模块，非概率型的深度模型其实是概率型深度模型的特例。针对深度的推荐系统提出层级贝叶斯模型，实验表明该系统可以大幅度推荐系统的效率。
给定一个图，我们知道边，并了解节点的内容。此图如果是社交网络，其实就是表示着用户之间的朋友关系，节点内容就是用户贴在社交平台上的图片或者文本。这种图关系，也可以表示论文的标题、摘要、引用等等联系。
我们的任务是希望模型能够学习到节点的表达，即能够捕获内容信息，又能够捕获图的信息。
解决方案是基于贝叶斯深度学习框架，设计关系型的概率自编码器。深度模块专门负责处理每个节点的内容，毕竟深度学习能够在处理高维信息是有优势的；图模块处理节点节点之间的关系，例如引用网络以及知识图谱复杂的关系。
在医疗领域，我们关注医疗监测。任务场景是：家里有小型雷达，会发射信号，设计的模型希望能够根据从病人身上反射的信号，发现病人是否按时用药、用药的次序是否正确。问题在于：用药的步骤非常复杂，需要理清顺序。
基于贝叶斯深度学习概率框架方法，用深度模块处理非常高维的信号信息，用图模块对在医疗专有知识进行建模。
值得一提的是，即使对于不同应用的同一模型，里面的参数具有不同的学学习方式，例如可以用MAP、贝叶斯方法直接学习参数分布。
对于深度的神经网络来说，一旦有了参数分布，可以做很多事情，例如可以对预测进行不确定性的估计。另外，如果能够拿到参数分布，即使数据不足，也能获得非常鲁棒的预测。同时，模型也会更加强大，毕竟贝叶斯模型等价于无数个模型的采样。
下面给出轻量级的贝叶斯的学习方法，可以用在任何的深度学习的模型或者任何的深度神经网络上面。
我们的关键思路是：把神经网络的神经元以及参数，看成分布，而不是简单的在高维空间的点或者是向量。允许神经网络在学习的过程中进行前向传播、后向传播。因为分布是用自然参数表示，该方法命名为NPN（natural-parameter networks）。
• Collaborative deep learning for recommender systems. Hao Wang, Naiyan Wang, Dit-Yan Yeung. Twenty-First ACM SIGKDD Conference on
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/35d55fceea12eaa78092.html
宽带哥是专业的宽带一站式服务网站，为用户提供宽带新装、续费、提速、套餐变更、故障处理和wifi组网等服务，流程简便速度快且超划算，办宽带就找宽带哥！
首页,早该帮
视频营销时代已翩然来临，想让你的宣传片拥有好莱坞大片的即视感吗？还在等什么，脸谱影视为您量身定制！脸谱影视主营业务：企业宣传片、企业微电影、电视广告片、品牌（产品）宣传片等 通过创意“视频”，最终达到粉丝积累、品牌强化、持续购买的营销目的。内容为王。视频宣传，营销更强。
北京金星超声波设备技术有限公司
安徽省白湖阀门厂有限责任公司具有50多年阀门生产历史，是中国阀门行业常务理事单位、中国建筑结构给水排水设备分会常务委员单位、中国城镇供水排水协会会员单位，安徽省省级技术中心，是全国大的阀门生产企业之一。
户外照明,交通设施-扬德电气集团有限公司一家经营户外照明、光伏、通信、交通设施、锂电储能等产品集研发、设计、生产，营销，施工于一体化的大型集团企业
山东军高过滤材料有限公司，是一家空气过滤材料专业制造商，主要产品为一般通风袋式过滤器所用滤材。产品主要有：带预过滤层、操作友好的KOPU（靠谱）系列玻纤滤材、传统玻璃纤维毡，MEPU（美谱）系列玻纤滤材、适合新国际标准ISO16890的滤材、带活性炭的滤材，等等。
深圳市粤通汽车租赁有限公司在汽车租赁行业规模较大并具影响力的深圳汽车租赁公司之一，为提供深圳企业租车,会议租车,港澳直通车,商务租车等服务。
我公司专业提供各种手板模型加工制作,包括医疗手板、汽车手板模型加工/打样,加工精度达0.008-0.01,与客户签订保密协议,引进日本马扎克高端机床,手板表面外观精美.TEL:13451778773
南通荣冠展示道具有限公司:专业展示道具,铁木家具加工厂家
湖北益石天下建材有限公司
三宫六院，作为专业的模拟人生类游戏模型绘图设计原创模组交流平台，建立十几年汇聚并培养了众多游戏模型原创作者，引导着国内作者走向自立自强之路，教育着年轻人学习2D和3D设计知识并鼓励原创设计作品的交流交易。在解决就业问题的同时，为众多作者创造了展示自我、赢得尊重、收获回报的机会。这里有纯粹的创造精神，丰富的资源共享，融洽的游戏氛围，舒适的交流体验。坚持积极开拓新的业务和新的发展方向，为中国原创界添砖加瓦，为年轻人实现自己的梦想和创造提供契机。
本期小编为大家带来的是第五人格加速器下载免费推荐，第五人格一直以来都是一款免费内购的游戏，但是我们在游玩的过程中会难免会出现一些卡顿丢包的情况，这时候就需要我们用加速器加速游戏，那么好用且免费的加速器都有哪些呢，下面请大家一起随小编来看看吧，在目前市面上的加速器种类繁多，好坏参半，玩家们如何选择是一个很关键的问题，小编这里为大家首推b...。
现在网上，鸡汤，严重泛滥，各种正能量，励志语录，成功必备、情感领悟随处可见，我有一个朋友系列，，，路边一位老者系列，、，街角那个乞丐系列，、，老农民比总裁幸福系列，......居多，那么这些东西究竟是谁在写?又是谁在读?这类鸡汤看似言之凿凿，有理有据，实则是逻辑混乱，根本不是来解决问题，仅仅是为了取得共鸣，让人从情感上去认同，写这些...。
2016年8月12日，GAIR，全球人工智能与机器人峰会在深圳福田香格里拉酒店正式开幕，本次大会设有主会场，会场外为展区，本次大会由中国计算机学会主办，雷锋网承办，深圳市政府指导，多达1500人参与了盛会，他们是人工智能、机器人、智能驾驶等领域的从业者、研究者和各路专家媒体，在峰会干货报道出来之前，让我们先来看看场外的展区，展区聚集了...。
今日头条辛巴在直播间指责快手人气造假曾多次起诉快手3月8日，快手知名主播辛巴在直播过程中指责快手纵容情感主播制造虚假人气和虚假数据，坑骗老人，他还质问快手工作人员为什么帮助情感直播造假人气，不管坑害老百姓的事，而是研究谁泄密给辛巴，目前辛巴的直播遭到了快手封禁，期限为48小时，封禁原因是，不符合社区规范，根据发现，微博有关#辛...。
1月11日记者获悉，一汽红旗品牌虚拟代言人微信小程序，旗羿旗妙说，于近日上线，基于腾讯混元大模型提供的智能底座，腾讯QQ为一汽红旗进行了全面的知识升级，同时使用双方联合打造的年轻化国风皮肤品牌虚拟代言人，旗羿、旗妙，，通过微信小程序为载体为用户提供智能交互问答服务，上线10天内，小程序访问人数突破百万次，这是一汽红旗首次在营销领域探索...。
近年来品牌美妆消费不断上升，进口美妆行业30%年增长率，催生未来10年新风口，所以化妆品的发展前景是很大的，就如小资生活化妆品一样，自开创以来就深受广大消费者的高度认可，小资生活化妆品加盟，一个连锁型化妆品零售品牌，它在业内先是创立了一站式美妆生活馆的运营模式，汇聚众多美妆品牌于一堂，为消费者带来了一种美妆采购新体验，也赢得了创业者的...。
杭州宴席帮网络科技有限公司是2018，02，12在浙江省注册成立的有限责任公司，自然人投资或控股，，注册地址位于浙江省杭州市余杭区塘栖镇顺风路536号25幢201室，60，杭州宴席帮网络科技有限公司的统一社会信用代码，注册号是MA2B0WCM45，企业法人钱凯，目前企业处于开业状态，杭州宴席帮网络科技有限公司的经营范围是，软件设计与开...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
△乌克兰哈尔科夫州军事行政长官西涅古博夫，资料图，乌克兰哈尔科夫州军事行政长官西涅古博夫外地期间11日示意，今天俄罗斯经常使用炸弹袭击了哈尔科夫州沃尔昌斯克地域，袭击造成2人死亡、8人受伤，目前接济人员仍在现场展开接济执行，俄罗斯方面对此暂无回应，总台记者董薇，点击进入专题，俄乌抵触更新第二次世界大战的内容第二次世界大战Second...。
谷歌浏览器中文版正式版英文名为googlechrome，所有又称chrome浏览器，是谷歌公司推出的多功能网页浏览器，界面简单，搜索功能强大，速度非常快速，并且安装包很小巧，小编个人觉得非常好用，大家不妨试试看！浏览器uc浏览器360浏览器qq浏览器搜狗浏览器火狐浏览器
联想LJ3050D打印机驱动是一款专为同款打印机提供服务的驱动程序，操作简单方便，功能实用，可以帮用户快速解决联想LJ3050D打印机与电脑之间的驱动问题。基本简介联想LenovoLJ3050D激光打印机驱动支持断点续传，可用下载工具下载。若您的电脑曾安装过驱动程序，请确认完全卸载旧版本安装前不要连接USB线，等电脑提示连线后再连接打印机基本参数产品类型黑白激打最高
电梯ic卡的使用能够带来什么好处2，为什么现在很多电梯上楼都要刷卡3，电梯刷卡系统4，电梯IC卡控制5，电梯卡门禁卡ic卡可以复制吗ic可以配吗ic卡怎么配1，电梯ic卡的使用能够带来什么好处在我们平时的生活中，大部分小区已经在电梯上加入了电梯IC卡控制系统，刷卡直达，无需按键。电梯IC卡的使用不仅能够为物业带来方便的同时，也更是给小区的业主带来了方便，也在防偷防盗的基础上大大的提升了安全性能。也能阻止外来的陌生人员也能够阻止在小区内乱贴小广告的现象。闲杂人员不容易进入电梯，对安保起到很大的作用。不好
再平凡的生活也需要用音乐去点缀，一首好听的歌曲能缓解人一天的心情，但有时大家会遇见网络差和没信号的情况，这时想听歌就只能靠之前下载的音乐，那么下载歌曲免费的音乐软件有哪些，歌曲只要下载到手机里就不用再去在线加载，而且下载的时候大家还能自己去选择音质，往往高音质的音乐都需下载之后才能听到最原版，1、，酷我音乐，早在多年之前这款应用就在电...。
因非法侵权采集电影电视剧，91资源，团伙被警方捣毁，关停侵权影视网站500余个，抓捕涉案人员18名，了解到，，91资源，运营的三个电影站影片资源非常丰富，采集的电影电视剧高达10万余部，他们利用插件批量采集工具将大量刚上映电影电视剧等视频资源采集到自己的电影网站上，供用户免费观看，然后借助QQ群和其他平台进行大规模推广引流，在视频资源...。
在很多人的心中都有致富的梦想，人们想要过上幸福安定的生活，因此，会通过自己的拼搏赚取盆满钵满的钱财，折扣店超市经营的产品种类比较齐全，符合当下消费者的使用需求，各大门店前来购买产品的顾客都不间断，是很有发展前途的加盟好项目，接下来小编为大家介绍折扣店超市加盟费多少，开店靠谱吗，折扣店超市加盟费多少加盟折扣店超市的投入成本费用和加盟分店...。
成功创业就要选择比较有发展潜力的好项目，这样以来不仅仅能够赚取到更加丰厚的钱财，而且在后期的经营过程中也会更省心省力，炒冰机店在市场上发展的空间广阔无垠，拥有十分庞大的顾客群体，在收效方面的空间也相当可观，不少商家使用炒冰机制作不同口味的炒冰，为广大消费者带来味蕾上的满足感，让人们每次都有不一样的饮食享受，因此，各大商家对于炒冰机的需...。
现在家长们非常重视孩子特长方面的培养和发展，希望孩子不仅仅学习好，在其它方面也能够突出，为此，家长们会为孩子报名各种兴趣，钛客实验室开设了各种各样的热门特长课程，而且教学水平高，很不错，对于创业者来说，钛客实验室加盟前景不凡，是创业好选择，下面小编来具体介绍一下品牌信息，供各位参考，在2011年，一个实力雄厚的教育培训品牌在教育行业悄...。
