DALL (dall-e)
openai的模型DALL-E 2于本月初发布，刚一亮相，便在图像生成和图像处理领域卷起了新的风暴。
只需要给到寥寥几句文本提示，DALL-E 2就可以按文本指示生成全新图像，甚至能将毫不相关的物体以看似合理的语义方式组合在一起。
比如用户输入提示“一碗汤是另一个次元的入口”后，DALL-E 2便生成了以下的魔幻图片。
“一碗汤是另一个次元的入口”
DALL-E 2不仅能按用户指令生成明明魔幻，却又看着十分合理不明觉厉的图片。作为一款强大的模型，目前我们已知DALL-E 2还可以：
感觉有了DALL-E 2，艺术家都可以下岗了。
DALL-E 2目前曝光的功能令人瞠目结舌，不禁激起了众多AI爱好者的讨论，这样一个强大模型，它的工作原理到底是什么？！
"一只在吹喷火喇叭的柯基”——DALL-E 2图片生成流程解析图源：
针对图片生成这一功能来说，DALL-E 2的工作原理剖析出来看似并不复杂：
可是以上步骤说起来简单，分开看来却是每一步都有很大难度，让我们来模拟DALL-E 2的工作流程，看看究竟每一步都是怎么走通的。
我们的第一步是先看看DALL-E 2是怎么学习把文本和视觉图像联系起来的。
第一步 - 把文本和视觉图像联系起来
输入“泰迪熊在时代广场滑滑板”的文字提示后，DALL-E 2生成了下图：
DALL-E 2是怎么知道“泰迪熊”这个文本概念在视觉空间里是什么样子的？
其实DALL-E 2中的文本语义和与其相对的视觉图片之间的联系，是由另一个OpenAI模型CLIP（ontrastiveanguage-magere-training）学习的。
CLIP接受过数亿张图片及其相关文字的训练，学习到了给定文本片段与图像的关联。
也就是说，CLIP并不是试图预测给定图像的对应文字说明，而是只学习任何给定文本与图像之间的关联。 CLIP做的是对比性而非预测性的
整个DALL-E 2模型依赖于CLIP从自然语言学习语义的能力，所以让我们看看如何训练CLIP来理解其内部工作。
训练CLIP的基本原则非常简单:
，因为CLIP才是那个把自然语言片段与视觉概念在语义上进行关联的存在，这对于生成与文本对应的图像来说至关重要。
第二步 - 从视觉语义生成图像
训练结束后，CLIP模型被冻结，DALL-E 2进入下一个任务——学习怎么把CLIP刚刚学习到的图像编码映射反转。CLIP学习了一个表示空间，在这个表示空间当中很容易确定文本编码和视觉编码的相关性， 我们需要学会利用表示空间来完成反转图像编码映射这个任务。
而OpenAI使用了它之前的另一个模型GLIDE的修改版本来执行图像生成。GLIDE模型学习反转图像编码过程，以便随机解码CLIP图像嵌入。
“一只吹喷火喇叭的柯基”一图经过CLIP的图片编码器，GLIDE利用这种编码生成保持原图像显著特征的新图像。
如上图所示，需要注意的是，我们的目标不是构建一个自编码器并在给定的嵌入条件下精确地重建图像，而是在给定的嵌入条件下生成一个保持原始图像显著特征的图像。为了进行图像生成，GLIDE使用了扩散模型（ Diffusion Model ）。
扩散模型是一项受热力学启发的发明，近年来越来越受到学界欢迎。扩散模型学习通过逆转一个逐渐噪声过程来生成数据。如下图所示，噪声处理过程被视为一个参数化的马尔可夫链，它逐渐向图像添加噪声使其被破坏，最终（渐近地）导致纯高斯噪声。扩散模型学习沿着这条链向后走去，在一系列步骤中逐渐去除噪声，以逆转这一过程。
如果训练后将扩散模型“切成两半”，则可以通过随机采样高斯噪声来生成图像，然后对其去噪，生成逼真的图像。大家可能会意识到这种技术很容易令人联想到用自编码器生成数据，实际上扩散模型和自编码器确实是相关的。
虽然GLIDE不是第一个扩散模型，但其重要贡献在于对模型进行了修改，使其能够生成有文本条件的图像。
GLIDE扩展了扩散模型的核心概念，通过增加额外的文本信息来增强训练过程，最终生成文本条件图像。让我们来看看GLIDE的训练流程：
下面是一些使用GLIDE生成的图像示例。作者指出，就照片真实感和文本相似度两方面而言，GLIDE的表现优于DALL-E(1)。
由GLIDE生成的图像示例 图源
DALL-E 2使用了一种改进的GLIDE模型，这种模型以两种方式使用投影的CLIP文本嵌入。第一种方法是将它们添加到GLIDE现有的时间步嵌入中，第二种方法是创建四个额外的上下文标记，这些标记连接到GLIDE文本编码器的输出序列。
GLIDE对于DALL-E 2亦很重要，因为GLIDE能够将自己按照文本生成逼真图像的功能移植到DALL-E 2上去，而无需在表示空间中设置图像编码。因此，DALL-E 2使用的修改版本GLIDE学习的是根据CLIP图像编码生成语义一致的图像。
第三步 - 从文本语义到相应的视觉语义的映射
到了这步，我们如何将文字提示中的文本条件信息注入到图像生成过程中?
回想一下，除了图像编码器，CLIP还学习了文本编码器。DALL-E 2使用了另一种模型，作者称之为先验模型，以便从图像标题的文本编码映射到对应图像的图像编码。DALL-E 2的作者用自回归模型和扩散模型进行了实验，但最终发现它们的性能相差无几。考虑到扩散模型的计算效率更高，因此选择扩散模型作为 DALL-E 2的先验。
从文本编码到相应图像编码的先验映射
DALL-E 2中扩散先验的运行顺序是：
现在，我们已经拥有了DALL-E 2的所有“零件”，万事俱备，只需要将它们组合在一起就可以获得我们想要的结果——生成与文本指示相对应的图像:
DALL-E 2图像生成流程的高级概述
以上就是DALL-E 2的工作原理啦~
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/7526b20a9e3c40e38206.html
腾讯网从2003年创立至今，已经成为集新闻信息，区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道，充分满足用户对不同类型资讯的需求。同时专注不同领域内容，打造精品栏目，并顺应技术发展趋势，推出网络直播等创新形式，改变了用户获取资讯的方式和习惯。
100招商网是集企业供求信息、产品信息于一体的B2B平台，网站用户可自主发布自己的企业商务信息,100招商网欢迎您的访问
专业理财产品评测，权威海量理财专家顾问，及时全面理财资讯，新浪财经个人理财版为您提供专属财富服务。
日本料理的做法_家常日本料理的做法非常简单易学。豆果美食提供的图文日本料理的家常做法大全和日本料理的视频,用最短的时间让你学会日本料理的做法
路基箱厂家-湖南国海工程设备有限公司主营:路基板出租,路基箱租赁,垫路板,铺路钢板出租,福建/厦门/漳州/江西路基箱租赁,湖北路基箱出租/南昌/武汉/长沙路基板租赁/南宁/郑州/南沙/株洲/湘潭/衡阳/邵阳/岳阳/常德/张家界/益阳/郴州/永州/怀化/娄底/湘西路基箱,路基板的配套服务,如随车吊、专业吊车、叉车、货车等工程设备租赁,为施工困难处提供专项服务方案,诚挚的欢迎新老客户来电咨询洽谈合作业务
麦爆啦-互动式效果广告平台，集互动广告投放平台、移动广告平台、手机广告联盟、APP广告投放、原生广告、效果广告于一体的流量变现平台，为流量主提供用户体验佳、流量变现效率高的商业化解决方案。
广州市极云网络科技有限公司（简介极云网络），专注于企业工作执行协作沟通管理、个人/家庭健康管理、中小微电商解决方案、高端网站构建等服务，专业的品质化互联网服务研发及运营的提供商。
深圳市九方文旅规划设计有限公司是从事主题公园设计和施工的专业化服务公司，致力为客户提供最专业的国际化的策划与设计，并为客户提供项目的落地及施工费用的预算和控制方面专业服务。
UU在线工具提供数百款便捷实用的在线工具，覆盖文本处理、图像编辑、编程辅助、音视频处理等多个领域，无需注册登录及下载，即开即用，轻松应对各种日常数据处理需求。
地质勘察、学术交流、科普教育、咨询服务。
视源股份主营业务为液晶显示主控板卡和交互智能平板的设计、研发与销售。其中，交互智能平板是公司以液晶显示主控技术为基础，结合多点触摸交互技术、数字信号处理技术与计算机软硬件技术，开发出的具有自主知识产权的集电视、电脑、电子白板等功能于一体的电子产品。视源股份旗下有两个品牌，一个是教育信息化应用工具提供商希沃（seewo），一个是高效会议平台MAXHUB。
江苏无锡公牛科技公司，专业生产电动车控制器（无刷直流电机控制器）。
在快节奏发展的过程当中，人们的精神压力比较大，而且精神状态也非常差，因此都特别热衷于各种各样的手机手游，在琳琅满目的游戏世界当中，人们更加喜欢的是机车比赛游戏手游，在多样化的机车类型当中，玩家可以选择到自己喜欢的炫酷机车，并来回穿梭在与众不同的赛道上，去感受速度与激情的碰撞，今天跟随小编一起看看以下的具体内容吧，卡通的画面以及流畅的操...。
今日融资快报通用机器人公司逐际动力完成亿元A轮融资，逐际动力是一家通用机器人公司，专注于具身智能与足式机器人的研发和制造，产品包括人形双足、四轮足机器人及相关软硬件解决方案，创始人张巍是南方科技大学长聘教授，此前曾任美国俄亥俄州立大学电气与计算机工程系长聘教授，本轮融资由阿里巴巴、招商局创投、上汽集团旗下尚颀资本领投，原始股东峰瑞资本...。
以大模型为代表的新一代人工智能技术变革仍在加速迭代，为，新质生产力，的发展注入强劲动力，助力产业智能化升级和经济发展，目前，大模型在产业端，已经开始从任务简单、容错率高的场景向任务复杂、容错率低的场景渗透，这个趋势既得益于基础技术的提升与创新实践的探索，也进一步推动着技术变革与实践深化，由世界人工智能大会组委会办公室指导，新一代人工智...。
热烈庆祝20171026期加盟商签约爱君家政！再次迎来新的加盟商伙伴加入我们爱君家政的大家庭！希望加盟商能在结束培训、学成归去后能够利用爱君的强大优势，努力开拓创立成为我们爱君的骄傲，让爱君为你们自豪，这批加盟商分别来自四川省成都市、上海市静安区，爱君家政有完善的培训体系，多方面360度、无死角式免费培训，有严格的考试上岗制度，势要打...。
11月22日，儿童医疗类纪录片，你好，儿科医生，第三季，正式开播，观众可通过抖音、抖音精选、西瓜视频、鲜时光TV、今日头条等平台在线观看，该片围绕儿科医生及其工作日常，真实记录儿科案例和医患故事，较之前两季，第三季把目光更多放在患儿家庭的故事上，尤其是那些与命运抗争的治疗经历，展现儿科医生，医病更医心，的温暖守护，希望通过儿科医院这...。
第三十六集，根据查询腾讯娱乐网显示，1、，我的孩子我的家，第三十六集中，幺婶希望老二有个孩子，家里更安定，于是悄悄将林荣的避孕药换成了维生素片，被换掉避孕药的林荣怀孕了，怀上了丁松的孩子，2、，我的孩子我的家，原名，今生，，由导演毛卫宁执导，周涌、慕星编剧，萨日娜、刘佩琦、徐玉琨主演，该剧于2010年10月5日国庆档于上海电视剧频道首...。
根据国务院，地震预报管理条例，规定，只有省级以上人民政府才能公开向社会发布地震预报，任何机构和个人都无权发布地震预报，违反国家规定，制造地震谣言，扰乱社会正常秩序的，依法给予治安管理处罚，512大地震的死亡人数是多少截至5月13日下午16点，四川省地震灾害与抗震救灾工作通报了最新的伤亡情况，这场512大地震造成了极其惨重的人员伤亡，据...。
发表在站务处理2020，5，2013，20距离当贝投影第一代产品F1发布已有16个月，目前当贝硬件销售规模已逾2亿，成功跻身2019中国智能投影新品第一品牌，是最近几年来最具成长力和增速最快的产品，在这优异成绩的背后，究竟我们经历了什么，做对了什么，下面由我细细道来，回想起2016年，那是一个炎热的下午，我无意中看到某品牌的投影，我承...。
你好，众泰5008车型功能不错！清秀的形状和严惩的空间、兼具SUV格调的静止性，使众泰5008能够游刃缺乏的穿越在都市与山野之间，加上6万左右的经济多少钱，众泰5008颇受年轻新贵和家庭休闲用车的青眼，众泰5008车型的整车尺寸为，3970*1570*1733mm，轴距到达2420mm，仰仗着190mm的离地间隙，在目前国际热销的自主...。
英菲克PB1鼠标宏驱动，鼠标操作简单，使用后可以很好的解决该款鼠标的连接异常问题，非常方便实用，PB1鼠标自带1000/1200/1600DPI三级变速可调，同时自带各类游戏的宏支持，不仅适合游戏玩家也适合商务办公人群！产品特色通用型SB接口即插即用广泛兼容轻松安裝，只需要连接线正确插入SB端口即可开始使用支持windows操作系统系列电脑创新材质升级为了更出众的质感英菲克
有许多电话销售人员认为电话销售没有什么难的也有的电话销售人员一入行做了一两个月都没有业绩很是苦恼有的销售人员由于对产品不了解连电话都不敢打有的销售人员每天不停的打电话就是没有定单客户这些销售人员的不足都在于电话销售前的准备不足那么电话销售前的准备工作是怎样的呢电话销售前应做好的准备一熟悉产品找准产品卖点无论在什么时候我...
上网最常用的软件我们这里都有比如IE9,迅雷,远程控制,网络监控,上网加速等软件都有最好用的。来看看吧PC6免费提供IE9,迅雷,电驴,远程控制,网络监控下载
上网最常用的软件我们这里都有比如IE9,迅雷,远程控制,网络监控,上网加速等软件都有最好用的。来看看吧PC6免费提供IE9,迅雷,电驴,远程控制,网络监控下载
方正字迹建刚圆润体,方正字迹建刚圆润体是一套相当出色的字体，由方正官方倾情打造，方正字迹建刚圆润体适用于广告标题、艺术设计、产品包装、手机显示等领域，欢迎下载使用,您可以免费下载。
有许多电话销售人员认为电话销售没有什么难的也有的电话销售人员一入行做了一两个月都没有业绩很是苦恼有的销售人员由于对产品不了解连电话都不敢打有的销售人员每天不停的打电话就是没有定单客户这些销售人员的不足都在于电话销售前的准备不足那么电话销售前的准备工作是怎样的呢电话销售前应做好的准备一熟悉产品找准产品卖点无论在什么时候我...
重庆分类目录网站将2014年12月共286个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
聚力·向未来，势不可挡！2023新中源陶瓷线上经销商年会圆满举行！,新中源,陶瓷,瓷砖
