已应用于豆包视频生成模型 火山引擎发布大模型训练视频预处理方案 (已应用于豆包的食品)

文章编号:41061 最新资讯 2024-12-03 火山引擎 多模态 AI

10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型。

火山引擎总裁谭待在活动致辞表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”谭待说。

自研多媒体处理框架BMF ,助力豆包视频生成模型突破业界难题

据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。

抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。

“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

火山引擎发布大模型训练视频预处理方案,已应用于视频生成模型

抖音集团视频架构负责人王悦介绍火山引擎大模型训练视频预处理方案

借助Intel的CPU等资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。

据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。

多项“音视频+AI”技术方案,助力企业全链路适配AIGC时代

此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

火山引擎视频云负责人Yongyuan 指出,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。

以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。

在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。

了解到,大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

王悦表示,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。

原创文章,未经授权禁止转载。详情见 转载须知 。

火山引擎发布大模型训练视频预处理方案,已应用于视频生成模型


本文地址: /article/1fb99eb5e88b368ba3b9.html
全局中部横幅
全局中部横幅
游戏网站导航大全-LOL网址导航网

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

遵义市投资(集团)有限责任公司

遵义市投资(集团)有限责任公司(简称“遵投集团”)是按照遵义市委、市人民政府重大决策部署,以原遵义市投资(集团)有限责任公司为母体,通过股权合并方式,深化改革组建成立的市属国有全资集团公司。目前,遵投集团下辖6家一级子公司、2家直管公司、7家参、控股公司和54

澄迈数码科技网_手机测评_数码产品_相机

澄迈数码科技网_提供深度评测、科技趋势报道以及购买建议,助您更好地了解市场动态。不论您是科技发烧友还是普通用户,数码手机网都将为您呈现有价值的内容和信息。

老余个人生活工作圈

老余个人生活工作圈又名余先生博客:用于记录本人日常趣事以及自己工作经验知识等。

济南移动公厕-环保厕所厂家-济南洁力士市政环境工程设备有限公司

济南洁力士市政环境工程设备有限公司是一家专业的移动环保厕所生产厂家,产品包括移动式景区厕所,各种环保公厕,轻型房,岗亭,垃圾箱等诸多类型.产品销售至重庆,福建,甘肃,内蒙古等地,获得众多客户的信赖

南通通能清洗公司-高压水清洗|高压清洗机|换热器清洗|加热器清洗|空预器清洗|高压水射流清洗|高压水清洗

南通通能清洗有限公司具有多年高压水射流清洗,喷丸清洗,及化学清洗的经验,提供:南通高压水清洗,南通换热器清洗,南通加热器清洗,南通高压水射流清洗

妙搜网2026版-332城市35000条公交线路查询-IP位置查询-邮政编码查询-电话区号查询-生日密码查询-身份证查询校验-手机号码归属地查询

妙搜网提供最新2026版全国北京公交、上海公交、深圳公交、重庆公交等332城市35000条公交线路查询,手机版m.miaoso.com,城市公交运营时刻表查询,公交常用行程,IP号码查询,邮政编码及电话区号查询,手机号归属地查询,生日密码查询。

电动硬密封球阀-不锈钢-高温气动硬密封球阀-浙江豫诚阀门有限公司

浙江豫诚阀门(www.zjycfm.com)是电动硬密封球阀厂家,专业提供气动硬密封球阀,高温气动硬密封球阀,电动硬密封泄灰球阀,液动硬密封球阀,气动硬密封固定球阀,气动硬密封切断球阀,硬密封锻钢球阀等系列产品,公司还根据用户需求开发设计有特殊要求的产品,同时为用户提供技术咨询并解决相关的问题!欢迎来电咨询!

VEX机器人大赛_亚洲世界锦标赛_STEAM教育_东莞市博思电子数码科技有限公司

东莞市博思电子数码科技有限公司是亚洲机器人联盟中国理事长单位,专注于推动中国STEAM教育机器人科技的发展,从2007年至今组织和承办VEX机器人亚洲锦标赛、VEX机器人中国区选拔赛16年,为VEX机器人世界锦标赛输送大量领导型人才。

建筑工程机械|钢板租赁|土石方工程|铺路钢板出租|路基箱出租-新吴区词铭工程机械租赁经营部-移动端

新吴区词铭工程机械租赁经营部经营范围:建筑工程机械、钢板租赁(不含融资性租赁);土石方工程、市政工程的施工;绿化养护服务。(依法须经批准的项目,经相关部门批准后方可开展经营活动)

全局底部横幅