视觉 北大邹月娴 (北京大学视觉与图像研究中心)
预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注。利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性，只需在小规模标注数据上进行微调，就可以在相应任务上有所提高。但相关研究的进展如何？还有哪些问题需要进一步探索？
2021年12月16日，北京大学深圳研究生院党委副书记、教授、博士生导师、北京大学现代信号与数据处理实验室主任 邹月娴 在中国计算机大会（CNCC 2021）“产业共话：大型预训练模型的商业应用及技术发展方向”论坛上，做了《视觉-语言预训练模型演进及应用》的报告，讨论了围绕大规模预训练模型的争议、最新进展以及研究思路，并给出了未来展望。
“‘视觉-语言’的子任务非常多，有各自的数据集，这使得解决NLP任务的进展非常快，但预训练模型方法在视觉领域却遇到了非常大的问题： MSCOCO数据集只标记了12万张图片，每张图片给出5个标记，总共花费了10.8W美金。”
“当前的几个主流VL-PTMs的技术路线很相似，都采用单一 Transformer架构建模视觉和文本输入；视觉输入为 Region-of- Interests (Rols) 或者 Patches，缺失全局或者其他高级视觉语义信息……”
而后者表明，主流视觉-语言预训练模型存在很多局限，导致在迁移至下游任务时，只适用于分类任务，而不适用生成任务。
以下是演讲全文，AI科技评论做了不改变原意的整理。
今天演讲的题目是《视觉-语言预训练模型演进及应用》，主要结合团队工作以及本人感悟探讨人工智能发展目前展现的趋势。本次演讲分为4个部分： 背景介绍、视觉-语言预训练模型、视觉-语言预训练模型及应用研究以及未来展望。
人工智能已经有六十多年的发展历程，自2017年以来，Transformer和BERT（2018年）相继提出，开启了大数据、预训练与迁移学习新篇章，将其定义为新时代也毫不夸张。目前，不同于前几十年的工作已成定论，该领域尚待进一步深入探索。
以自然语言处理（NLP）为例，其演化过程如上图所示，OpenAI在2018年发布第一代 GPT模型 ，短短几年时间“大模型”已经初具规模。这里的“大”有两层含义：模型训练使用的数据量大，模型蕴含的参数规模大。中国在这方面也有出色的工作，2021年的 悟道2.0 更是达到了万亿参数规模。
目前关于大规模预训练模型还有一些争议，主要的 争论点 在于：
1.超大模型学到了什么？如何验证？
2.如何从超大模型迁移“知识”，提升下游任务的性能？
3.更好的预训练任务设计、模型架构设计和训练方法？
4.选择单模态预训练模型还是多模态训练模型？
虽然有争议，但不得不承认 “暴力美学”确实有独到之处，例如 百度ERNIE3.0 曾经刷新了 50多个 NLP任务基准。要知道，在业界，无数学生、学者为一个SOTA就绞尽脑汁了，但大规模预训练模型却能批量“生产”SOTA。另一方面，50多个SOTA也说明，这不是偶然。
目前学界已经公认AI的发展离不开借鉴人类大脑的研究成果，因此 多模态预训练模型这条集成类脑机制和机器学习的路径，自然也成为关注的焦点。
但仍然有许多脑科学发现的机理未能弄清楚，例如多层抽象、注意力机制、多模态聚合机制、多模态代偿机制、多线索机制、协同机制等等。
人类约有的信息依靠视觉获得，剩余约的信息依靠听觉和触觉。关于人类智能，语言具备真正高阶的语义。例如，当说到“苹果”一词的时候，脑子 “浮现”的是一张“可以吃”的苹果图片；当说到 “苹果手机”的时候，大脑则会出现苹果牌手机的概念。
脑这种“视觉参与听觉感知”的机制、“视觉概念与语言概念一致性”的认知机制是我们机器学习采取多模态预训练模型的可靠性依据之一。
“视觉-语言模型”开发是否可行？中国人民大学的一项研究表明，互联网提供了的图文大数据，而文本数据只占了。在大量数据源的加持下，视觉-语言预训练模型也成了2021年的研究热点。
，英文名称是“ Vision and Language，VL ”。 VL预训练模型旨在让机器处理涉及到“理解视觉内容和文本内容”的任务。VL任务可以分成VL生成任务和VL分类任务。
这两类任务解决的问题不一样，难度也不一样。对于VL生成任务，不仅需要对视觉信息进行理解，还需要生成相应的语言描述，既涉及编码，又涉及解码；而VL分类任务只需要理解信息。显然，生成任务的难度较大。
生成任务的技术难点在于 需要理解视觉的高阶语义，建立视觉-文本的语义关联。 例如， 视频描述（Video Captioning） 任务需要“概括”视频内容， 图像描述（Image Captionin g）任务需要对每一帧图像生成描述。
目前， 视觉问答（VQA） 是热门的VL分类任务之一，可以理解为： 给定一张图像，让模型回答任何形式的基于自然语言的问题。
如上（左）图所示，如果你询问机器“What is she eating？”，VL分类器就会理解图片信息，然后给出正确的回答“hamburger”。
当前“视觉-语言”的子任务非常多，各有数据集，例如 VQA、VCR、NLVR2 等等。我们注意到，由于NLP任务有大数据集支持，其预训练模型技术发展迅猛。但对于视觉-语言任务， 由于标注大规模数据集需要极高的成本，导致VL模型的性能提升缓慢。
以图像描述任务为例， MSCOCO数据集 只标记了 12万张 图片，每张图片给出 5个 标记，总共花费了美金。因此 ，不同的VL任务依赖于不同的模型框架+不同的标注数据集，标注代价昂贵，性能尚未满足应用需求。
探索新的VL预训练代理任务，减少对数标注的依赖，是一个很有意义的研究方向。 2019年学术界开启了的研究工作。
关于VL预训练模型，从2019年开始就出现了非常多的出色工作，例如“开山”的，2020年的以及2021年的。随着时间的推移，模型包含的数据量也越来越大，能力越来越“出众”。整体的技术路线可以分为两大类：
是2020年由微软提出的，它用了4个代理任务训练模型，在4个下游任务进行了测试，获得了性能提升。上述研究都是采用预训练模型加 “微调”的研究范式。
2021年OpenAI用双流框架开发了，CLIP的出现就技惊四座。其原理非常简单，分为编码和解码两个部分，编码器选用典型的Transformer。CLIP模型的惊艳之处在于，CLIP预训练模型直接能够拥有零样本学习（Zero-Shot Learning）能力， OpenAI在多个不同粒度的分类任务中测试发现，CLIP预训练模型具有良好的零样本迁移性能，能学到更通用的视觉表征。
我们对上述主流VL预训练模型，从基础网络结构、视觉输入、文本输入、主流数据集、训练策略以及下游任务六个方面进行了分析。
分析发现，主流的技术路线很相似：
1. 采用单一Transformer架构建模视觉和文本输入；
2. 视觉输入为 Region-of- Interests(Rols)或者 Patches，缺失全局或者其他高级视觉语义信息；
3.大多采用的代理任务是BLM（双向语言模型）、S2SLM（单向语言模型）、ISPR（图文匹配）、MOP（掩蔽物体预测）等等。
因此，已提出的视觉-语言预训练模型更适合迁移到下游分类任务，例如VQA。对于下游生成任务，例如图像描述，视觉-语言预训练模型并不适合。
我们团队也开展了探索性研究，研究思路是堆叠 Transformer+自注意力机制 ，其中 创新地提出自注意力模型区别地处理视觉模态和文本模态，即采用不同的QKV变换参数，分别对视觉和文本模态建模。
同时，引入视觉概念信息，缓解视觉语义鸿沟。经过验证发现，我们提出的 基于注意力模态解耦的VL-PTM : DIMBERT(2020) ，可以同时适用于分类任务和生成任务。
相比当年（2020年）的最新SOTA, DIMBERT模型更小（隐形双塔），仅仅在 Conceptual Captions任务上进行预训练，具有数据量需求优势，在测试的下游任务都达到SOTA，在没有deCoder的架构下，可以迁移至下游生成任务。
这项工作也给我们两点 启示
1.从信息表征视角来看，视觉信息和文本信息需要不同的表达方法，毕竟文本拥有相对更加高阶的语义信息。
2.尽量引入人类高阶语义信息，人类对物体有非常明确的定义，苹果就是苹果，梨就是梨，因此定义物体属性，用语言信息缓解语义鸿沟非常有必要。
2021年10月份，Facebook发布了相关工作，属于视频VL预训练模型。从这个模型可以看出，Video CLIP颇具野心，期待对于下游任务不需要任务相关训练数据集，不需要进行微调，直接基于Video CLIP进行零样本迁移。
具体而言，它基于对比学习结合Transformer框架，试图搭建视觉-文本联合预训练模型，期望能够关注更细粒度的结构。
对比学习框架结合训练数据样本的构造 ，其正样本的构造是视频段-匹配文本描述对。此外，通过对正样本进行近邻搜索，获得困难负样本，从而构建出视频-非匹配文本对。
该模型采用对比损失,学习匹配视频-文本对之间的细粒度相似性；通过对比学习方式拉近具有相似语义的视频-文本表征。 这个工作从研究的创新性来看并不突出，但模型性能令人惊讶。
我们认为，借鉴的研究思路，可以在更细粒度层面进行提升，我们提出了一个帧级别文本细粒度匹配方法。
实验结果表明，细粒度匹配能获得更加准确、具有完整的空间建模能力。我们在 ActivityNet数据集 上进行了视频检索的召回率测试，发现在所有下，我们提出的基于细粒度匹配策略的预训练模型性能都优于基于全局匹配策略的预训练模型；此外，我们发现，当获得同一性能，我们提出的基于细粒度匹配的模型其训练速度是基于全局匹配方法的 四倍 。
综上，预训练模型、跨模态预训练模型方面的研究是非常值得探索的，无论是模型结构、训练策略还是预训练任务的设计都尚有非常大的潜力。
未来，AI社区或许会探索更多的模态，例如多语言、运动、音频以及文字；更多的下游任务，例如视频描述、视频摘要；更多的迁移学习机制，例如参数迁移、提示学习、知识迁移等等。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/4caf58f0f843af999cf2.html
九商vr云是一家集全景拍摄、制作、发布等服务的全景展示平台,公司自研vr全景制作软件支持在线合成全景图,可实现360度、720度全景图一键生成,vr全景拍摄制作就上九商vr云.
新疆衡皓高分子复合材料有限公司主要经营新疆玻璃钢制品、新疆玻璃钢化粪池、新疆玻璃钢脱硫塔、新疆玻璃钢格栅、新疆玻璃钢管道、新疆玻璃钢电缆桥架,玻璃钢一体生产销售厂家。
400电话如何申请,在哪里申请,大府400电话办理中心提供全国范围400电话客服产品办理服务，大府信息作为移动、联通、电信400电话一级合作服务商,400电话收费标准要多少钱，欢迎服务热线查询！
木子财税专注于为创业者及中小微企业分享深圳注册公司、深圳代理记账报税、深圳企业高新认定、财税服务、深圳公司注销经验。
共享资源网新起点博客是专业分享SEO自学网教程,网站源码下载,技术分享,资源分享,程序源码,模板插件,个人博客主题,web前端开发,wordpress建站教程,cms建站教程,网站插件,站长源码,个人博客模板,精品软件下载,破解软件等共享网络资源免费分享网站。
天津金钯铱贵金属经营有限公司专业长期进行钴板钴粉回收,钛网回收,钕铁硼强磁回收,价格美丽，服务优质，欢迎来电咨询！
今天学啥是职业教育资格考试培训门户网站,给广大考生提供金融、职业、建筑、财会、外语、考研等专业考试资讯、报名时间、成绩查询、真题答案等考试服务是各类考生顺利通过考试的好帮手也是培训机构招生的最佳渠道。
永乐中村（苏州）物业服务有限公司
东莞市思力电子科技有限公司专业研发生产80PLUS电脑电源,1U服务器电源,2U服务器电源，定制各类电源等等,公司产品质量可靠,服务有保障！欢迎来电咨询;13802373367胡生
www.farsunset.com完整的即时通讯产品。
湖北京昊电子科技有限公司
北辰SCRM，智能化全渠道营销工具，基于企微的客户管理系统，客户行为分析，线索培育转化，商机跟进，精细化私域运营管理，高效、精准触达客户，提升转化留存复购，打造专业的客户全生命周期管理
2017年11月23日至26日，中国移动通信集团公司在广州琶洲保利世贸博览馆以，和创未来，智连万物，为主题，召开，2017，第五届，中国移动全球合作伙伴大会，中国移动政企客户分公司，以下简称，政企分公司，在会上精彩亮相，举办，智慧政企开放生态，分论坛以及教育、交通、医疗三大行业论坛，中国移动副总裁沙跃家出席，智慧政企开放生态，论坛...。
雷锋网按，我们已经站在人工智能时代的前沿，大部分人对此趋之若鹜，少数人高喊着警惕的口号，被视为杞人忧天的傻子，人工智能的浪潮正不可避免的袭来，它到底是怪兽还是福音，恐怕事实上，它两者都是，日前发布文章，深刻的揭露了人工智能从提高人类生产力到淘汰人类生产力的过程，可以说是一篇警世恒言，雷锋网在不改变原意的情况下为您做如下编译，去年秋天，...。
我认为，为了考上名校复读多年，是否值得是因人而异的，如果一个人复读多年，但是成绩依然很不理想的话，那么从结果上来看的话，他复读就是不值得的；而一个人复读多年，而最终考上了名校的话，那么他的复读就有意义，其实总结来说就是一句话，如果不是读书的料的话，为考名校多年复读是不太值得的，但如果只是因为一时的考场失利的话，那么再多复读几年也值得的...。
蝶恋花烧烤冰激凌，冷饮界一个具有震撼效应的，不可思议，品，她的灵感来源于远方火山与冰世界共生交融的冰岛，好打造，冰与火，交融的口感，充分释放流连于心底深处的浪漫、激情与梦想！零下一度的特制冰激凌经过独特的，淬火，工艺，不仅保持了原貌，丝丝滑腻的口感，刺激、味美又能消暑休闲的佳品就此自信闪现！她不仅跨越了令人惊叹的，冷热，平衡，让您淡然...。
如今，成人用品市场发展强劲，前景不错，整个行业一派欣荣，吸引了众多创业者关注，有心分食这块大蛋糕，但是，由于固有传统思想的存在，有一种说法流传了开来，相对于出大本钱开一家实体店，倒不如花小钱注册网店销售，对于买卖双方而言，更方便，也更好，那么，事实确实如此吗，成人用品网店好吗，成人用品网店怎么开好吗，下面，关于以上种种问题，小编将逐一...。
发表在专业问答2022，6，1515，39展示机型信息，品牌型号，小米电视5、当贝盒子H1、iPhone13、华为P50系统版本，MIUITV3.0、当贝OS3.0、IOS15.5、EMUI11.1软件版本，乐播投屏8.4.78没有投屏功能的电视可以通过有线连接、连接电视盒子和连接同屏器这三种方式投屏，下面为没有投屏功能的电视通过连接...。
2011年2月21日晚上9时许，注定是全州县二中一个伤痛蒙羞的时刻，该校高二，十，班原班长蒋添辉，为劝解本班两女生在班里编排座位时产生的争执，两女生为争与一男生同坐，，跟被其中一女生叫来助威的本校高三男生张某产生争端，在下晚自习后，被张某叫来几个男青年围攻追杀，惨死于离学校不到100米的街头上，一个学习成绩优秀年轻的生命，白白葬送在他...。
1993年，俞敏洪的创业之初，为了节约成本，在北京郊区的一个度假村里租了几间房子做教室，这家度假村的老板叫张北，租教室的时候，俞敏洪支付给张北一笔押金，租期结束之后，按照合同，张北应该返还这笔押金，但他当时手头吃紧，还不了这笔钱，张北就和俞敏洪商量，你们以后还是要租教室的，等你们哪天再租的时候，能不能将这笔押金抵进租金里?俞敏洪一听痛...。
�搜狐汽车6.3.3�汽车之家8.8.1�易车8.8.1�懂车帝3.0.1选用理由，1，由于搜狐汽车关键为资讯类，所以关键以汽车资讯作为关键竞点来说；如汽车其余业务线日后独自做剖析，2，上述产品为市面上出名的且相似的汽车资讯类App，设施型号，iPhone6s操作系统，IOS11.3测试网络，移动4GTD，LTE汽车后市场，随着国...。
现状，大在校生务工日渐，多样化，搓澡工5000名大在校生应聘洗浴核心4成愿当搓澡工总经理助理工时贴补每小时1元，搓澡工贴补每小时58元，应聘者肯定大专以上学历，由某企业举行的这个招聘吸引了5000多名大在校生应聘，从收到的5000多份上岗放开来看，其中4成愿当搓澡工，[具体]修车清华在读博士生辞职修电动车董冰，清华大学在读博士生，辞职...。
友基绘影ex07驱动是绘影ex07数位板的官方驱动程序，使用数位板必备的哦！本驱动可以运行各大操作系统，包括(XP/Vista/Win7/Win8)，新版本驱动增加和优化了部分功能，欢迎有需要的用户下载使用。友基绘影EX07介绍友基绘影EX07数位板驱动s1.40版本是友基科技于2014年
adb驱动安装包是针对手机上的adb打造的一款非常重要的驱动安装程序，adb在手机中可以说是起到了至关重要的调试桥作用，而这款驱动就可以帮助大家解决手机USB连接电脑出现的各种异常问题，让大家可以安全、顺利的进行使用，需要的话赶紧下载使用起来吧。基本功能1、运行设备的shell(命令行)2、管理模拟器或设备的端口映射3、计算机和设备之间上传/下载文件4、将本地
2023年在重庆程控电话交换机行业中品牌排行榜，哪个品牌程控交换机好呀！华为中兴的停产服务，还有申瓯
adb驱动安装包是针对手机上的adb打造的一款非常重要的驱动安装程序，adb在手机中可以说是起到了至关重要的调试桥作用，而这款驱动就可以帮助大家解决手机USB连接电脑出现的各种异常问题，让大家可以安全、顺利的进行使用，需要的话赶紧下载使用起来吧。基本功能1、运行设备的shell(命令行)2、管理模拟器或设备的端口映射3、计算机和设备之间上传/下载文件4、将本地
EncFSMP是一款免费U盘加密软件。使您能够创建一个安全的位置来存储信息，您的计算机上或可移动驱动器上。
MarvelousDesigner12中文破解版是一款功能强大的3D服装设计软件，也是一款真正将传统服装制作方法应用于3D建模的软件。
近日有一首歌曲很是好听这首歌有一句歌词是别带我到太高太远太险我看不见的地方那么这首很火很好听的歌叫什么歌呢下面就让我们来了解一下别带我到太高太远太险我看不见的地方歌曲的详细内容吧别带我到太高太远太险我看不见的地方是什么歌别带我到太高太远太险我看不见的地方别带我到太高太远太险我看不见的地方出自歌曲蜜蜂这首歌最近经由抖音王...
