DALL (dall-e)
OpenAI的模型DALL-E 2于本月初发布，刚一亮相，便在图像生成和图像处理领域卷起了新的风暴。
只需要给到寥寥几句文本提示，DALL-E 2就可以按文本指示生成全新图像，甚至能将毫不相关的物体以看似合理的语义方式组合在一起。
比如用户输入提示“一碗汤是另一个次元的入口”后，DALL-E 2便生成了以下的魔幻图片。
“一碗汤是另一个次元的入口”
DALL-E 2不仅能按用户指令生成明明魔幻，却又看着十分合理不明觉厉的图片。作为一款强大的模型，目前我们已知DALL-E 2还可以：
感觉有了DALL-E 2，艺术家都可以下岗了。
DALL-E 2目前曝光的功能令人瞠目结舌，不禁激起了众多AI爱好者的讨论，这样一个强大模型，它的工作原理到底是什么？！
"一只在吹喷火喇叭的柯基”——DALL-E 2图片生成流程解析图源：
针对图片生成这一功能来说，DALL-E 2的工作原理剖析出来看似并不复杂：
可是以上步骤说起来简单，分开看来却是每一步都有很大难度，让我们来模拟DALL-E 2的工作流程，看看究竟每一步都是怎么走通的。
我们的第一步是先看看DALL-E 2是怎么学习把文本和视觉图像联系起来的。
第一步 - 把文本和视觉图像联系起来
输入“泰迪熊在时代广场滑滑板”的文字提示后，DALL-E 2生成了下图：
DALL-E 2是怎么知道“泰迪熊”这个文本概念在视觉空间里是什么样子的？
其实DALL-E 2中的文本语义和与其相对的视觉图片之间的联系，是由另一个OpenAI模型CLIP（ontrastiveanguage-magere-training）学习的。
CLIP接受过数亿张图片及其相关文字的训练，学习到了给定文本片段与图像的关联。
也就是说，CLIP并不是试图预测给定图像的对应文字说明，而是只学习任何给定文本与图像之间的关联。 CLIP做的是对比性而非预测性的
整个DALL-E 2模型依赖于CLIP从自然语言学习语义的能力，所以让我们看看如何训练CLIP来理解其内部工作。
训练CLIP的基本原则非常简单:
，因为CLIP才是那个把自然语言片段与视觉概念在语义上进行关联的存在，这对于生成与文本对应的图像来说至关重要。
第二步 - 从视觉语义生成图像
训练结束后，CLIP模型被冻结，DALL-E 2进入下一个任务——学习怎么把CLIP刚刚学习到的图像编码映射反转。CLIP学习了一个表示空间，在这个表示空间当中很容易确定文本编码和视觉编码的相关性， 我们需要学会利用表示空间来完成反转图像编码映射这个任务。
而OpenAI使用了它之前的另一个模型GLIDE的修改版本来执行图像生成。GLIDE模型学习反转图像编码过程，以便随机解码CLIP图像嵌入。
“一只吹喷火喇叭的柯基”一图经过CLIP的图片编码器，GLIDE利用这种编码生成保持原图像显著特征的新图像。
如上图所示，需要注意的是，我们的目标不是构建一个自编码器并在给定的嵌入条件下精确地重建图像，而是在给定的嵌入条件下生成一个保持原始图像显著特征的图像。为了进行图像生成，GLIDE使用了扩散模型（ Diffusion Model ）。
扩散模型是一项受热力学启发的发明，近年来越来越受到学界欢迎。扩散模型学习通过逆转一个逐渐噪声过程来生成数据。如下图所示，噪声处理过程被视为一个参数化的马尔可夫链，它逐渐向图像添加噪声使其被破坏，最终（渐近地）导致纯高斯噪声。扩散模型学习沿着这条链向后走去，在一系列步骤中逐渐去除噪声，以逆转这一过程。
如果训练后将扩散模型“切成两半”，则可以通过随机采样高斯噪声来生成图像，然后对其去噪，生成逼真的图像。大家可能会意识到这种技术很容易令人联想到用自编码器生成数据，实际上扩散模型和自编码器确实是相关的。
虽然GLIDE不是第一个扩散模型，但其重要贡献在于对模型进行了修改，使其能够生成有文本条件的图像。
GLIDE扩展了扩散模型的核心概念，通过增加额外的文本信息来增强训练过程，最终生成文本条件图像。让我们来看看GLIDE的训练流程：
下面是一些使用GLIDE生成的图像示例。作者指出，就照片真实感和文本相似度两方面而言，GLIDE的表现优于DALL-E(1)。
由GLIDE生成的图像示例 图源
DALL-E 2使用了一种改进的GLIDE模型，这种模型以两种方式使用投影的CLIP文本嵌入。第一种方法是将它们添加到GLIDE现有的时间步嵌入中，第二种方法是创建四个额外的上下文标记，这些标记连接到GLIDE文本编码器的输出序列。
GLIDE对于DALL-E 2亦很重要，因为GLIDE能够将自己按照文本生成逼真图像的功能移植到DALL-E 2上去，而无需在表示空间中设置图像编码。因此，DALL-E 2使用的修改版本GLIDE学习的是根据CLIP图像编码生成语义一致的图像。
第三步 - 从文本语义到相应的视觉语义的映射
到了这步，我们如何将文字提示中的文本条件信息注入到图像生成过程中?
回想一下，除了图像编码器，CLIP还学习了文本编码器。DALL-E 2使用了另一种模型，作者称之为先验模型，以便从图像标题的文本编码映射到对应图像的图像编码。DALL-E 2的作者用自回归模型和扩散模型进行了实验，但最终发现它们的性能相差无几。考虑到扩散模型的计算效率更高，因此选择扩散模型作为 DALL-E 2的先验。
从文本编码到相应图像编码的先验映射
DALL-E 2中扩散先验的运行顺序是：
现在，我们已经拥有了DALL-E 2的所有“零件”，万事俱备，只需要将它们组合在一起就可以获得我们想要的结果——生成与文本指示相对应的图像:
DALL-E 2图像生成流程的高级概述
以上就是DALL-E 2的工作原理啦~
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/7526b20a9e3c40e38206.html
大运起名网专注于新生宝宝生辰八字起名,取名,姓名测试领域.累计给全国三十余万新生宝宝提供了好听,吉祥,大气的男孩起名,女孩起名,名字打分服务,是宝宝起名取名的首选起名网站
扬州先锋化工有限公司-先锋拥有专业的农化团队，为客户提供从配方、剂型、药理、植保等方面专业的农化知识服务，并以“先锋”为品牌，和客户深层次的合作，在俄罗斯、乌克兰、白俄罗斯、摩尔多瓦、土耳其、也门、埃及、美国、巴拉圭等国家进行农药等级，取得农药登记证近百个。
无锡市帕沃尔科技有限公司专注于台式车床,工装治具,冷冻机的制造、销售和服务.力图用精湛的技术为广大国内外客户提供全面的现场解决方案以及完善的产品与服务.
无边泳池，透明游泳池,亚克力游泳池，亚克力厚板，英国露彩特原材料厂家
中投华创主张以互联网新技术加资本力量赋能创业成功！自成立以来独立或联合举办800＋场次创业及资本对接活动，服务并陪跑了6000家以上企业。
福建省泉州市科霸卫浴有限公司
廊坊丰正环保科技有限公司
Volarisaprofessional,agileandinternationalplasticschemicalsupplier,specialisingintheplasticsanditsproductsindustryformorethan10years,
Leaf内容管理系统，企业建站首选，基于.netcore开源免费高性能，新闻发布系统
简设计众包设计平台，为广大的设计师团队提供了一个发挥自己才能的平台，工作时间自由
湖北飞讯网络有限公司成立于2011年，是一家经国家工业和信息化部批准的从事互联网数据中心业务、互联网接入服务业务、互联网内容分发业务、互联网域名解析服务业务、互联网资源协作服务业务、互联网信息服务业务、计算机系统集成及计算机软硬件开发得高新技术企业。飞讯网络
昆明高德建筑装饰工程设计有限公司拥有各类行内资深设计师，专注于酒店设计，会所设计，夜场设计，别墅设计的高端设计师团队。与港台知名设计公司长期有着深度合作，已成功服务多项大型工程设计，在酒店娱乐会所项目的设计理念上已经处于领先地位。本设计机构将以独特的设计，优秀的品质，合理的价格，专业的服务作为自己的追求。
合成类游戏有哪些，当长时间沉浸在这些较为直观简单的合成游戏中，难免会感到一丝乏味，正因如此，小编今天想分享给大家几款别具一格的合成小游戏，它们同样身为小游戏，却在玩法上别具一格，定能为玩家带来全新的体验，让大家在合成的过程中发现前所未有的乐趣与惊喜，1、，合成地标，这是一款以地标性建筑为主题的竖屏合成类轻松手游，其核心乐趣在于将不同的...。
雷锋网消息，据路透社报道，8月8日，三星电子宣布，其母公司三星集团将在未来三年投资25万亿韩元，合220亿美元，，用于人工智能、5G移动技术、汽车电子元件以及生物制药业务，以寻求手机和内存芯片以外的新增长动力，三星电子是三星集团的旗舰子公司，也是全球最大的存储芯片和智能手机制造商，该公司并未提供该计划的具体细节和详细数据，但表示将为其...。
上半年的旗舰都已悉数登场，这次对比一下最强的超广角摄像头，究竟在哪台机器上，热门候选包括，华为Mate40Pro、OPPOFindX3Pro、一加9Pro和vivoX60Pro，小视野镜头、自由曲面、主摄级大底、微云台，哪个技术的效果会更好，按超广角传感器的面积排列，华为Mate40Pro↑没选用华为Mate40Pro，的原因，非常...。
一家熊猫都喜欢的店，确实有点与众不同，至于为什么说是熊猫都喜欢，看看墙上那么多可耐的熊猫就知道了，哈哈！这是一家主营冒菜和蔬菜面的馆子，说它是馆子，因为面向大众化市场，卖的都是大家很熟悉的冒菜和面，说它与众不同，因为这里不使用转基因食用油，菜品新鲜，而且面条都是不添加色素的绿色蔬菜面，让人吃起合格，这里的冒菜分为红油和干拌两种，比较之...。
盛唐时期民族关系的主流是大融合大发展，各名族之间交流加强，包括经济、文化等，从整个中国古代民族关系史来看，汉族和少数民族在长期经济文化的密切交往中互相学习和吸收，早已形成汉族离不开少数民族，少数民族离不开汉族的内在联系，盛唐时期的全球，美洲，玛雅文明时期，和澳洲还是一片荒芜，基本上还处于原始社会阶段，非洲除了埃及其它国家还处于懵懂时...。
美国国防部发言人帕特·赖德12日示意，也门胡塞武装11日向正在经过曼德海峡的美军驱逐舰，斯托克戴尔，号和，斯普鲁恩斯，号发射了至少8架无人机、5枚反舰弹道导弹和3枚反舰巡航导弹，攻打，被完成挫败，，没有形成军舰受损以及人员伤亡，赖特还说，没有收到，林肯，号航空母舰被攻打的信息，胡塞武装称袭击美军航母并挫败美军袭击外地时期12日晚间，也...。
中单还是那四个！世界赛出征仪式全是老将，网友：LPL最弱一年？,中单,lpl,lol,uzi,rng,世界赛
联结国大会于2008年12月确定每年的8月19日为环球人道主义日，旨在，增强群众对环球范围的人道主义声援执行以及在这方面的国内协作的关键性的看法，同时向一切人道主义者、联结国以及那些为促成人道主义事业开展而上班、为职责而献出世命的上班人员致敬，8月19日是什么节日，环球人道主义日是几月几日环球人道主义日的由来联结国无关数据显示，近年...。
2024年5月31日19时许，江西省萍乡市上栗县金山镇一汽修店出现爆炸意外，形成一栋民房倒塌，截至目前，意外现场接济已基本完结，意外已形成3人死亡，含1人因重伤抢救有效死亡，，25人受伤，其中3人伤势较重，生命体征颠簸，其他22人均为细微伤，，伤者已所有在医院接受治疗，关系意外要素正在考查，爆炸事故教学反思提高安全素质，杜绝事故发生，...。
1.想要搜查磁力链接，可以首先在搜查引擎中输入torrentkitty启动搜查，在搜查结果中找到磁力链接搜查引擎的官方网站，地址为，2.访问官方网站后，您将看到首页上有一个用于搜查BT种子的选项，3.例如，假设您想搜查以后抢手的电影，老炮儿，，可以间接在搜查输入框中输入电影称号，而后点击，搜查BT种子，按钮，这将为您找到相应的种子文件...。
中国·潼南柠檬产业发展大会将于11月6日开幕
姆总没来！皇马夏窗：亿元先生贝林厄姆加盟，卖本泽马买何塞卢,何塞卢,贝林厄姆,莫德里奇,皇马夏窗,足球竞赛,皇家马德里,英格兰足球,足球运动员,卡里姆·本泽马,2022-23赛季欧冠抽签
很多小孩子在学习数学时总觉得枯燥无比，看到数字以及各种数学符号都不知道如何搭配，那么想要让孩子对学习数学感兴趣的话，不妨选择一款好玩的游戏，跟数学有关的游戏在哪里下载，小编今天针对于此问题作出了详细的归纳，以下这几款游戏适合所有的人群，小学生写完作业之后可以通过玩游戏的方式，学习数学，成年人也可利用以下几款游戏放松心情，数字狂飙这款休...。
我国有着八大菜系一直诸多的特色美食菜品，说到川菜相信大家都十分的熟悉了，作为经典菜系受到了很多消费者的喜爱，很多出名的川菜美食成为了大家日常餐饮的选择，在国内也有着很多专业从事川菜经营的美食门店，有红鸡毛店就是业内具有较高名气的川菜美食品牌，有红鸡毛店作为非遗传承者，以地道的川菜美食受到了很多消费者的喜爱，并且诚邀合伙人们，那么，有红...。
对于成功人士而言，或许一百万已经代表不了什么了，但是对于大多数普通人来说，没有资源又没有背景，很难，靠打工?一个月基本就是几千，靠创业?成功者十不存一，基本是炮灰，但是在网上，搞个一百万好像跟玩儿一样，什么，月薪十万是怎样的体验?在北上广深不靠父母买了房子是种怎样的体验?年薪百万是一种什么样的生活状态?，这样的内容，我劝你们不要多看，...。
雷锋网消息，天眼查数据显示，3月20日，东软医疗运营主体沈阳东软医疗系统有限公司获百度战略融资，融资额2252.0143万人民币，另外，沈阳东软医疗系统有限公司经营范围也新增了车载医疗设备、汽车销售等业务，东软集团股份有限公司于1991年成立，1996年上市，是中国第一家上市的软件企业，也是中国第一家通过CMM5、CMMI5认证和PC...。
蛋炒饭用蛋来炒饭是一种非常古老的菜饭合一的烹饪做法，新疆还有一种饭叫苜蓿饭的，只是不是我们通常说的蛋炒饭而已，穷人吃的，口感不是很好，现在越来越多的人都喜欢吃蛋炒饭，节约时间，做法也越来越美味可口，...。
