打造神奇宝贝新世界 Diffusion 大神微调 无敌了 Stable 生成式 AI (打造神奇宝贝的小说)
作为一个强大、公开且足够简单的模型，最近大火的 Stable Diffusion 在文本生成图像之外，给了大家无限的创作可能性。
最近，来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调，构建了一个神奇宝贝生成器！
下图是输入名字后生成的一些神奇宝贝：戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。
Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图：
除了现有的角色和公共人物，你还可以输入一个描述来生成自己想象的神奇宝贝：骷髅祭司
你也可以输入自己的姓名或网名，生成属于自己的神奇宝贝形象。这可太酷了，推特上的网友纷纷用自己的名字展开创作，看看自己如果变成神奇宝贝会是什么样子。
图注：网友 Elizabeth Holmes 的神奇宝贝形象
图注：网友 Upbeatblue 的神奇宝贝形象
图注：网友 Onion-Sama 的神奇宝贝形象
输入一些漫画角色的名字也可以获得相匹配的神奇宝贝：
而那些陪伴人们童年的神奇宝贝在这个生成器中也有了新的样貌：皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦幻。
Pinkney 在推特上展示了这个神奇宝贝生成器的训练过程。
他表示，Stable Diffusion 是一个很好的通用模型，但要获得特定风格的输出不是件容易的事，这通常需要做大量枯燥的工作，制作复杂的文本提示库，或者你也可以偷懒只对图像生成模型进行微调。
Pinkney 在神奇宝贝图像的数据集上对初始的 Stable Diffusion 进行了微调。
首先是构建一个数据集。数据集包含神奇宝贝图像和对应的文本描述，比如妙蛙种子被描述成“一个红眼睛的绿色神奇宝贝图像”，绿毛虫则被描述为“一个长着红鼻子的绿黄两色玩具”。
当然，这些描述不是人工完成的，而是使用了神经网络来代劳，即图像描述模型 BLIP。虽然这些描述还不是十分完美，但也足够用了。
然后，他在 A6000 上只花费了几个小时对 AI 模型进行训练，让模型学习以神奇宝贝的风格来生成图像，但将先前的知识保留一段时间，最终对数据集产生过拟合。
开始时，样本是正常图像的样子，然后逐渐获得神奇宝贝的风格，随着训练的继续，最终呈现一个与原始提示不同的神奇宝贝图像：
这是一种很简单的微调，但它运行得非常好。有了这样一个微调后的模型，无论你给它什么提示，它都会生成神奇宝贝。所以不必再煞费苦心地想提示语了。
在创建神奇宝贝时，你可以选择输出多个：
Pinkney 表示，欢迎大家用更复杂的方式把这个模型专门地用在新领域。像这样的小工具就是 Stable Diffusion 这类 AI 模型开源好处的体现。
这个模型在网上引起创作热潮后，Pinkney 又发布了一篇博客补充了一些额外的工作细节。
他发现，令人惊讶的是，这个模型竟然设法记住了初始 Stable Diffusion 的一些通用知识，而它只是在一个有限的数据集上训练了几千步。但是，对神奇宝贝进行微调时，模型实际上很快就会开始过度拟合，如果只是以一种简单的方式从中采样，模型就会为新的提示生成胡言乱语式的神奇宝贝，也就是说，它已经灾难性地遗忘了它所训练的原始数据）。但是 Stable Diffusion 在训练期间保持模型的指数移动平均 (EMA) 版本，通常用于推理。
因此，如果使用 EMA 权重，我们实际上是在使用原始模型和微调模型的平均值。事实证明，这对于生成神奇宝贝而言是必不可少的。此外，你还可以通过直接将新模型与初始模型的权重进行平均来微调效果，以控制生成神奇宝贝的数量。微调和对模型进行平均的操作可以将原始内容与微调后的风格有效混合。
图注：左边是完全微调的模型，右边是只微调注意力层的模型。
另外，你也可以冻结模型的不同部分来进行微调，比如上图是两种微调方式的生成效果，可以看到，只微调了注意力层的模型可以生成更正常的 Yoda，但并不太擅长制作神奇宝贝。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/72ad35224d73aa554bdf.html
轻略，整合全网资源。根据内容属性进行垂直分类和多角度聚合，为您提供丰富、灵活的内容定制。只需一站即可掌握全网资源，无需搜索就可获得关注内容。不仅是您的网络资源管家更是轻量优雅的上网入口。
火锅技术培训,串串技术培训，蜀味缘火锅串串技术培训学校，先尝后学，资深大厨一对一教学，承诺学好为止!
美如家地板始创于2003年，历经多年发展，业已成为行业内声名卓著的现代化企业。
企业名称：河北奥冠，山东奥冠，河北奥冠电源有限责任公司，奥冠集团，奥冠电池，奥运精神，冠军品质。锂电池关键词：奥冠锂电池，锂电池胶体电池，锂电池动力电池，锂电池储能电池，锂电池光伏电池，德国胶体锂电池，奥冠锂电池，奥冠胶体锂电池，德国奥冠胶体锂电池，锂电池动力电池，德国锂电池胶体动力电池，德国胶体锂电光伏电池，德国胶体锂电动力电池，德国胶体锂电备用电池，淘宝奥冠锂电池，天猫奥冠锂电池，京东奥冠锂电池，百度奥冠锂电池，360奥冠锂电池。胶体电池关键词：胶体电池，德国胶体电池，奥冠胶体电池，胶体蓄电
河间市华宇保温建材有限公司主营：夹克管、聚氨酯瓦壳、直埋保温管、聚乙烯外护管、预制直埋保温管、聚氨酯管件保温、聚氨酯直埋保温管、钢套钢蒸汽保温管、玻璃钢聚氨酯保温管、聚氨酯镀锌铁皮保温管。公司成立于2007年，是一家国内专业生产、制造耐火保温隔音材料的大型骨干企业。该公司以“质优、诚信”为宗旨，瞄准国内外保温行业制高点追求先进、大胆革新，以企业良好的产品品质取得了业界骄人成绩，受到社会广泛关注。供特殊需求产品设计、制造，满足客户的个性化需要。
北京中阔律师事务所是一家经北京市司法局批准，依法成立的综合性合伙制律师事务所。中阔律所位于北京CBD核心区阳光金融中心，拥有高端的服务场所、数字化的服务设施和现代化的服务环境。
汝岩（上海）自动化科技有限公司主营业务包含:非标自动化设备的研发.设计.生产.销售以及售后服务于一体的高新技术企业。配套提供工装夹具、智能机器人、各类检测设备、自动化生产线等。公司恪守诚信,创新,务实,服务的宗旨,奉行以人为本,科技先行,质量至上,追求卓越的经营理念,如有产品需求,欢迎致电:18217283091
河南省中晟祥和卫材有限公司主营脱脂纱布块,一次性手术衣,医用防护服，无纺布，水刺无纺布，劳保用品，卫生用品，保健用品，办公用品，防护用品等，是集产品生产咨询、电商渠道、供应链金融为一体的一站式整合服务平台。
天津远达交通设施有限公司是一家从事道路、停车场(库)、物流厂区、市民小区、交通安全设施产品设计、生产、施工、维护一体化综合性公司。公司主要承接工厂停车场、厂区道路划线、学校停车场、学校道路划线、停车场、道路划线、生活小区停车场、生活小区道路划线、商业区停车场、商业区道路划线等各种交通施工工程。为京津翼建设“添砖加瓦”
医倍达生物科技有限公司(以下简称“Healthfuture”)是国内一家知名的专业从事高端生物耗材研发、生产和销售的综合性企业，致力于为全球客户提供分子诊断、细胞培养、免疫治疗等方面的高品质耗材及定制化服务。
南京万厚中医医院开设重点科室有肝病科、中医科、肿瘤科，同时有中医治未病、体质检测、内病外治、冬病夏治、中医各种疑难杂症等，尤其在中医肿瘤的治疗上有着精深造诣。南京万厚中医医院是江苏省重点医院，国家医保定点单位。
书格格致力于为广大书友推荐各种类型好看的小说，包括有言情小说、都市小说、历史小说、科幻小说、灵异小说、军事小说、悬疑小说、玄幻小说、武侠小说、末世小说等。看小说，找小说就上书格格小说推荐网！
前段时间，A站要关闭的消息一直存在，而且网页主站也不能访问，而且有消息称许多ACFUN员工已经离开办公室，回家等待消息，而根据此前消息，发现A站在发布大量招聘信息，其实早就有媒体透露，A站正在等待新融资，2月12日下午，网站挂掉十天的A站在微博发布了一条消息，称目前官网和APP都可以正常访问和使用，并且转发抽奖，从中可以看出，A站或已...。
今日头条特斯拉内部人士回应马斯克任命朱晓彤为特斯拉全球CEO12月7日晚间，有媒体报道称马斯克决定任命朱晓彤为特斯拉全球CEO的消息引发热议，对此，记者向特斯拉内部人士求证此事，该内部人士回应，您觉得是真的吗，，疑似间接否认了此消息真实性，据公开资料显示，朱晓彤于2014年4月加入特斯拉汽车公司，担任特斯拉中国超级充电站项目总监，...。
身为农家子弟的唐尚珺深知，读书是他改变命运的唯一途径，因此从初中开始，他就立志要考入中国科技大学，然而，现实与理想的差距让他连续多年复读，直到2016年，他终于考上了中国政法大学，在老师的劝说下，他前往学校报到，准备开启大学生活，但仅两个月后，他申请退学，这是为何呢，唐尚珺出生于广西防城港市公安村的一个农民家庭，是家中的小儿子，尽管家...。
今年早些时候，有一项研究发现20和30多岁的年轻人中结直肠癌的发病率出现了上升的趋势，当时一些科学家对此持怀疑态度，他们认为这一数字反映的是结直肠癌的早期诊断率上升，早期诊断实际上帮助了这些患者，结肠癌局部蔓延示意图不过，最近又有一份新的研究报告出炉，展现了一些令人担忧的数据，研究发现，在年轻人群中，不仅结直肠癌的发病率正在上升，因结...。
雷锋网消息，5月27日智行者科技宣布完成由厚安创新基金数千万美元的C1轮投资，据悉，本轮融资主要用于如下几方面，在高速乘用车领域，与主机厂紧密合作，持续加大投入力度，预计在2020~2021年，组建L4级别自动驾驶车队，实现国内外3~5个城市的常态化运营，提高商业化运营能力，以L3系统为切入点，实现自动驾驶系统的前装量产，并通过大规模...。
9月7日，2023腾讯全球数字生态大会——腾讯文档2023年度新品发布会在线举办，会上，腾讯文档发布多款云智一体生态新品，独家自研双核编辑引擎，让Office文档与云端文档实现跨端、跨设备的融合体验；Smart系列创新品类，智能文档、智能表格等，，支持与传统文档关联流转；腾讯文档AI能力应用，以，智能助手，形式率先在智能文档中嵌入使用...。
7天后，年度，春晚红包盛宴，就要正式上演，京东则是今年的主角，其实自2014年至今，这一除夕夜必备栏目，见证了互联网巨头们的荣辱沉浮，派发开年红包，既是大厂地位和实力的一次重要展示，也是行业博弈的关键节点，鉴于此，截取，大派春晚红包那年，这一时间横切面，以逐年倒叙的方式，来看彼时这些大厂们在荣登，宝座，的高光之年里，面对着各自的...。
发表在坚果投影仪2020，9，2816，22近日，坚果投影新的旗舰产品坚果J10投影仪震撼上市，这是一款多方面超越坚果J9的产品，要说坚果J10和坚果J9的区别有哪些，下面就来具体了解一下两款投影仪有哪些区别，作为新品，坚果J10有哪些方面的提升，坚果J10和坚果J9的参数对比表一、光学参数①亮度，坚果J10的亮度远超坚果J9，达到了...。
泰安市交通违法行为是泰安市交通治理的违法行为，凡违犯交通治理规章制度的车辆、行人以及机关、集团、企业、学校等组织或团体未经公安机关同意私自占用路途摆摊设点、停放车辆、堆放东西、搭建屋宇、从事集市贸易等障碍交通的优惠，均属交通违法行为，泰安市车辆违法行为查问方式有5种，包含终端查问、官方查问、电话查问、短信查问、放开查问，1.触摸查问终...。
减肥软件哪个最好?减肥一直是困扰着众多用户生活的难题,如何快速减肥?如何在生活中保持完美的身材?2265小编为为广大用户们带来全新减肥软件排行榜,为你推荐各种有效好用的减肥app!第一名:轻加减肥【轻加】--你的移动减肥私教,使用轻加进行减肥记录、运动打卡、
实测了下fast框架html前端拿到时候有点小问题还有一堆后门这边都处理好了上手就能用运行
流水记账大管家软件,第七感流水记账大管家软件是一款著名的流水记账软件，可以帮助对财务进行记账管理，适用于大中小行的企业、门店、网店等零售行业记账的电脑版软件。,您可以免费下载。
某宝几乎是每个人都知道的一个购物平台，在这个信息化的时代，选择某宝进行网购的人也越来越多，而且某宝也为网购者提供很多扶持，比如说很多物品都提供了七天退货的服务，这也让越来越多的人愿意相信某宝是一个可以给人们带来性价比比较高的商品，随着越来越多的人开始网购开网店的人也越来越多，很多创业加盟商都认为开网店是很挣钱的，都想某宝这个平台开一家...。
雷锋网消息，苹果公司MFi授权认证项目近日新增了一种接口名称，UltraAccessoryConnector，，用于连接耳机和耳麦等设备，此前，MFi授权认证，MadeforiOS，的接口类型包括Lightning和USB，C等，新增的UltraAccessoryConnector连接器为8针脚设计，外观尺寸为2.05x4.85毫米...。
消息，MWC22巴塞罗那世界移动大会期间，华为数据通信产品线副总裁赵志鹏在IPv6论坛的主题演讲中提到，从人人互联到万物互联，IPv6，已经在全球实现了100，的商用，有效支撑金融、制造、能源、教育、医疗等各个行业的数字化发展，离万物互联的时代愈来愈近，人们不禁对IPv6，这一，幕后推手，产生好奇，IPv6，到底是什么，随着科技...。
家电3C大卖场的生意不好做了生意不好做了，是这两年零售企业的共同体验，对家电、3C领域的玩家来说，这种感觉尤为强烈，经过几十年的经济高速发展，中国的家电、3C产品普及率已经非常之高，加上人口红利消失，房地产行业增速放缓，家电3C市场的增长已经触碰到了天花板，可以说，未来家电、3C市场将是存量市场的竞争与博弈，然而，一方面家电、3C是低...。
根据IDC发布的报告显示，石头科技在2024年第二季度全球智能扫地机器人出货量达到511.7万台，同比增长15.7%，石头科技本季度出货量全球第一，这也是中国厂商首次在智能扫地机器人市场登顶，这位扫地机器人的头号玩家正在瞄准另一个千亿级别规模的市场——洗衣机市场，很多朋友好奇，为什么石头科技做洗衣机，我们希望生产对用户有价值的产品，...。
