字节豆包通用图像编辑模型SeedEdit开启测试用户可一句话轻松改图 (字节的饭)

文章编号:36914 最新资讯 2024-11-30 大模型 豆包 字节

11月11日,字节在豆包大模型团队官网上公布最新通用图像编辑模型SeedEdit。SeedEdit支持一句话轻松改图,包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作,通过简单的自然语言即可驱动模型编辑任意图像。

目前,该模型已经在豆包PC端及即梦网页端开启测试。用户可以在豆包生成图片后,点击继续编辑按钮,输入简单的文本指令对图片背景或主体进行轻松调整,实现一句话改图。例如,用户在生成一张“小狗在草地奔跑”的图片后,可以直接输入“背景换成海边”等指令,获得一张基于原图片的微调图。

字节豆包通用图像编辑模型SeedEdit开启测试用户可话轻松改图

此外,用户也可以尝试在豆包PC或即梦的图像生成功能中自行上传参考图并进行二次加工。

SeedEdit是国内首个实现产品化的通用图像编辑模型。过往,学术界在文生图和图生图领域已有较多研究,但做好生成图片的指令编辑一直是难题,二次修改很难保证稳定性和生成质量。今年以来,Dalle3、Midjourney接连推出产品化的生图编辑功能,相较业界此前方案,编辑生成图片的质量大大改善,但仍缺乏对用户编辑指令的精准响应和原图信息保持能力。

字节豆包通用图像编辑模型SeedEdit开启测试用户可话轻松改图

字节跳动豆包大模型团队表示:图像编辑任务的关键在于取得「维持原始图像」和「生成新图像」之间的最优平衡,这一理念贯穿了整个模型的设计与优化过程。

据介绍,在模型数据生产中, SeedEdit 针对数据稀缺问题, 重新设计模型架构,并且采用多模型,多尺度,和多标准的数据制造方案很大程度上解决了数据量,数据多样性和数据质量的问题。作为一款专为图像编辑任务设计的模型,SeedEdit在通用性、可控性、高质量等方面取得了一定突破。

此前业界技术主要针对单个专家任务进行优化,比如针对表情、发型、背景的删除或替换,或专门配置工作流进行风格调配,每次出现新的编辑任务均需收集对应数据进行训练开发。而SeedEdit作为通用的图像编辑模型,适用各类编辑任务,支持用户脑洞大开的奇思妙想,无需再训练微调即可快捷应用。 它与业界同类方法对比 (如EMU Edit和Ultra Edit),取得显著更优的性能指标。

字节豆包通用图像编辑模型SeedEdit开启测试用户可话轻松改图

(HQ-Edit等基准测评显示:SeedEdit能理解相对模糊的指令,且执行细致编辑时具有更高的图像保持率和成功率)

即便在常规任务中,相比专家模型,SeedEdit 也有一定优势。比如,在“抠图”换背景等用户最常用到的图像分割任务中,SeedEdit 编辑生成后的图像风格自然,无“贴图感”;在局部涂抹、编辑、添加和删除元素等任务中,相比手动涂抹编辑, SeedEdit通过语言指定, 大大节省了用户涂抹的时间,尤其针对裂纹、发丝等相对精细的涂抹区域。

字节豆包通用图像编辑模型SeedEdit开启测试用户可话轻松改图

(要求图片将草莓替换成柠檬)

同时,SeedEdit通过创新的模型架构,多尺度、多规则的数据获取、构造和过滤方案,能更好地理解用户意图并对齐 diffusion 生图模型,极大提高了图像编辑的精准度,并保持了高质量的图片生成效果。

字节豆包通用图像编辑模型SeedEdit开启测试用户可话轻松改图

(要求去掉裂纹,让图片变干净)

基于豆包文生图大模型,目前SeedEdit支持中文和英文输入,还可以对中文成语和专有名词进行精准响应。下一步,SeedEdit还将开放多轮复杂编辑的功能。

豆包大模型团队表示,现阶段SeedEdit对模型生成图片的编辑效果要好于输入真实图片,同时在更复杂和更精细的控制上仍有改进空间。未来,SeedEdit会在真实图片保真、ID保持、编辑精确性、以及长时序的故事类、漫画类生成方面做进一步的优化和探索,提升编辑可用率和用户体验,支持用户更高效地创作有趣的内容。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/910bc822821da05c938a.html
全局中部横幅
全局中部横幅
龙岩公司注册代办-公司变更-公司注销

龙岩代理企业提供:全程代办注册集团有限公司,代理合伙公司注册,注册装修企业,工商注册,工商变更,注销,转让,一般纳税人申请,代理记账,财务服务,各类审计,资产评

全国房地产门户|房地产网】-直播看房抢优惠-全国房天下

全国房天下是国内领先的房地产家居网络平台,提供及时的房地产新闻资讯内容,为楼盘提供网上浏览、视频直播、直播看房、业主论坛和社区网站,是国内房地产媒体及业内外网友公认的房地产网络视频直播平台,给网友提供房地产网站中速度快捷内容全面的智能搜索引擎

新派影院-新派影视手机版在线观看-新派电影院官网

【新派影院】(www.xpqkc.com)为您提供2025vip热播电视剧全集【超前点播】高清电影手机免费在线观看服务【无广告不卡顿】新派影院每天第一时间更新,更多精彩经典在线视频尽在新派影视。

19游戏网-做玩家的游戏先锋,让您游戏赢在起跑线

19游戏网,为您提供多样性的游戏服务。您可以在这里获得专业的游戏新闻资讯,为玩家提供资讯娱乐全方位体验,玩游戏,记得来19游戏网!

宜昌PVC排水管厂家|PE管价格|HDPE双壁波纹管|宜昌联塑代理商|湖北冠页科技

湖北联塑宜昌代理商(湖北冠页科技有限公司,电话13997666660)是联塑管道与汉塑管业在宜昌的总经销,主营产品:PVC管、PVC排水管、PE管、HDPE双壁波纹管等,价格实惠,欢迎选购。

中铁开发投资集团有限公司

中铁开发投资集团有限公司(简称“中铁开投”)是特大型国有控股企业——中国中铁股份有限公司(简称“中国中铁”)的全资二级子公司,中铁开投成立于2011年12月8日,注册地为云南省昆明市,注册资本15亿元,拥有市政公用工程、公路工程、建筑工程等三项工程施工总承包壹级资质。中国中铁西南区域总部是落实中国中铁区域经营战略、完善经营布局、实施立体经营和高端经营、助推企业高质量发展的平台,与中铁开投实行“一个机构、两块牌子”的管理模式。

新湖南  湖南新闻第一端

新湖南,湖南新闻第一端。是湖南日报社的全新融合,是湖南15家省市州党委机关报全媒体合作平台。党报底色,湖湘基因,是全球湖南人的精神家园。

激光安全等级认证-IEC60825-激光器/激光雷达检测认证-激光FDA/CE/IEC认证-激光检测机构_深圳中为检验

深圳中为检验是专注于激光安全检测和认证的第三方检测机构公司,深圳市中为检验技术有限公司拥有激光检测中心、美容仪检测中心、家用电器检测中心、机械检测中心、综合检测认证中心五大事业中心。我们提供包括激光器检测和认证、激光安全检测、激光安全等级认证、美容仪检测、激光FDA检测认证、激光CE认证、IEC激光安全认证以及家电能效检测服务,是中国认可、国际互认的权威、专业、可靠第三方检测机构公司。

衡水灭鼠|蟑螂|蚊蝇|蚂蚁|跳蚤-衡水有害生物防治-衡水四害消杀-河北爱健有害生物防治有限公司

河北爱健有害生物防治,专业提供衡水地区灭鼠、灭蟑螂、灭蚊蝇、灭蚂蚁、灭跳蚤服务,同时涵盖蟑螂预防、蚊蝇治理、除甲醛及有害生物防治等。我们致力于为客户创造无害虫、健康的生活环境,采用科学方法,高效解决各类害虫问题,守护您的家居健康。选择爱健,享受专业四害消杀服务。

济南华云环艺工程有限公司

济南华云环艺工程有限公司是国内仿真行业名牌企业,仿真行业专家。从事保鲜棕榈树、椰子树制作安装及上千种仿生植物、花卉、大榕树、大槐树等各种大型植物仿制、生态餐厅造景,假山、塑石、瀑布水景制作,并可仿制自然界中任何植物。电话:0531-88661626/85767582,欢迎来电咨询!

句容装饰公司|镇江装饰|丹阳装修-句容艺博装饰工程有限公司

句容艺博装饰工程有限公司自成立以来以“重合同、守信用”为根本,率先倡导绿色镇江装饰装修,倡导环保理念丹阳家庭装修,力良人视质量为生命,全心致力于承接各种大中小型工装和家装项目。

全局底部横幅