字节豆包通用图像编辑模型SeedEdit开启测试用户可一句话轻松改图 (字节的饭)
11月11日,字节在豆包大模型团队官网上公布最新通用图像编辑模型SeedEdit。SeedEdit支持一句话轻松改图,包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作,通过简单的自然语言即可驱动模型编辑任意图像。
目前,该模型已经在豆包PC端及即梦网页端开启测试。用户可以在豆包生成图片后,点击继续编辑按钮,输入简单的文本指令对图片背景或主体进行轻松调整,实现一句话改图。例如,用户在生成一张“小狗在草地奔跑”的图片后,可以直接输入“背景换成海边”等指令,获得一张基于原图片的微调图。
此外,用户也可以尝试在豆包PC或即梦的图像生成功能中自行上传参考图并进行二次加工。
SeedEdit是国内首个实现产品化的通用图像编辑模型。过往,学术界在文生图和图生图领域已有较多研究,但做好生成图片的指令编辑一直是难题,二次修改很难保证稳定性和生成质量。今年以来,Dalle3、Midjourney接连推出产品化的生图编辑功能,相较业界此前方案,编辑生成图片的质量大大改善,但仍缺乏对用户编辑指令的精准响应和原图信息保持能力。
字节跳动豆包大模型团队表示:图像编辑任务的关键在于取得「维持原始图像」和「生成新图像」之间的最优平衡,这一理念贯穿了整个模型的设计与优化过程。
据介绍,在模型数据生产中, SeedEdit 针对数据稀缺问题, 重新设计模型架构,并且采用多模型,多尺度,和多标准的数据制造方案很大程度上解决了数据量,数据多样性和数据质量的问题。作为一款专为图像编辑任务设计的模型,SeedEdit在通用性、可控性、高质量等方面取得了一定突破。
此前业界技术主要针对单个专家任务进行优化,比如针对表情、发型、背景的删除或替换,或专门配置工作流进行风格调配,每次出现新的编辑任务均需收集对应数据进行训练开发。而SeedEdit作为通用的图像编辑模型,适用各类编辑任务,支持用户脑洞大开的奇思妙想,无需再训练微调即可快捷应用。 它与业界同类方法对比 (如EMU Edit和Ultra Edit),取得显著更优的性能指标。
(HQ-Edit等基准测评显示:SeedEdit能理解相对模糊的指令,且执行细致编辑时具有更高的图像保持率和成功率)
即便在常规任务中,相比专家模型,SeedEdit 也有一定优势。比如,在“抠图”换背景等用户最常用到的图像分割任务中,SeedEdit 编辑生成后的图像风格自然,无“贴图感”;在局部涂抹、编辑、添加和删除元素等任务中,相比手动涂抹编辑, SeedEdit通过语言指定, 大大节省了用户涂抹的时间,尤其针对裂纹、发丝等相对精细的涂抹区域。
(要求图片将草莓替换成柠檬)
同时,SeedEdit通过创新的模型架构,多尺度、多规则的数据获取、构造和过滤方案,能更好地理解用户意图并对齐 difFusion 生图模型,极大提高了图像编辑的精准度,并保持了高质量的图片生成效果。
(要求去掉裂纹,让图片变干净)
基于豆包文生图大模型,目前SeedEdit支持中文和英文输入,还可以对中文成语和专有名词进行精准响应。下一步,SeedEdit还将开放多轮复杂编辑的功能。
豆包大模型团队表示,现阶段SeedEdit对模型生成图片的编辑效果要好于输入真实图片,同时在更复杂和更精细的控制上仍有改进空间。未来,SeedEdit会在真实图片保真、ID保持、编辑精确性、以及长时序的故事类、漫画类生成方面做进一步的优化和探索,提升编辑可用率和用户体验,支持用户更高效地创作有趣的内容。
版权文章,未经授权禁止转载。详情见 转载须知 。

深圳市玉鼎康实业发展有限公司是一家以初级农产品、鲜肉、果蔬、水产品、冻品的购销为主,餐饮管理为辅的专业化公司。自2006年成立以来,我们一直秉承客户至上、服务至优的全新理念。 深圳市玉鼎康船舶服务有限公司是一家以船舶伙食供应、烟酒供应、船舶物料供应、清污油等服务集一体的专业船舶服务公司。本公司拥有2000多平米的配送中心,并且拥有设施完善的检测室及先进的检测设备,公司设有干货仓、冷冻库、保鲜库及鸡蛋清洗消毒车间,配备有专业冷冻运输车队及专业的食品管理人员和配送团队,确保食品新鲜、质量安全;且配备有专业的物料配送团队,所配物料各类齐全,质量保证,价格合理。 深圳市玉鼎康船舶服务有限公司 深圳市玉鼎康船舶服务有限公司成立于2013年,是一家经过深圳市市场监督管理局的登记注册,通过深圳市交通运输委员会、深圳市出入境检验检疫局、深圳海关、深圳边检等政府部门批准备案、经营的合法企业。并且获得了深圳市交通运输委员会颁发的“港口经营许可证”,和深圳市市场监督管理局颁发的“食品流通许可证”,以及深圳市出入境检验检疫局颁发的“口岸食品生产经营单位卫生许可证”等相关证书。 玉鼎康船舶服务有限公司专业为国内、国际航行的货轮、游轮和客轮提供船舶生活供应链,包括物料、伙食、日用品等服务。船舶服务公司现拥有3000多平方米的仓库中心,储存产品种类齐全,数量充裕;并建有专业的物流冷链配送车队,不仅能满足客户的需求,同时极大缩短供货时间。自成立以来,公司所有员工始终都致力于船舶服务的经营与创新,目前已形成集船舶物资采购、配送及售后服务方面等较为完善的管理体制。