已应用于豆包视频生成模型 火山引擎发布大模型训练视频预处理方案 (已应用于豆包的食品)

文章编号:41061 资讯动态 2024-12-03 火山引擎 多模态 AI

10月15日,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案,助力解决视频大模型训练的成本、质量和性能等方面的技术挑战。目前,该技术方案已应用于豆包视频生成模型

火山引擎总裁谭待在活动致辞表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经历着深刻转变,“基于抖音业务实践和与行业客户共创,火山引擎视频云正积极探索AI大模型与视频技术的深度融合,在技术底座、处理链路和业务增长层面为企业寻找解法。”谭待说。

自研多媒体处理框架BMF ,助力豆包视频生成模型突破业界难题

据介绍,对训练视频进行预处理是保障大模型训练效果的重要前提。预处理过程可以统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,从而使模型能更高效地学习视频中的特征和知识,提升训练效果和效率。

抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。

“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参差不齐,然后是处理链路环节多、工程复杂,最后还面临着对GPU、CPU、ARM等多种异构算力资源的调度部署。”

火山引擎发布大模型训练视频预处理方案,已应用于

抖音集团视频架构负责人王悦介绍火山引擎大模型训练视频预处理方案

借助Intel的CPU等资源,火山引擎此次发布的大模型训练视频预处理方案依托于自研的多媒体处理框架BMF,能有效应对模型训练的算力成本挑战。此外,该方案还在算法和工程方面进行了调优,可以对海量视频数据高质量预处理,短时间内实现处理链路的高效协同,提高模型训练效率。值得一提的是,火山引擎本次还发布并开源了移动端后处理解决方案BMF lite版本。BMF lite支持端侧大模型接入和算子加速,更加轻量、通用。

Bytedance Research 负责人李航介绍,豆包视频生成模型PixelDance在训练过程中采用了火山引擎的大模型训练视频预处理方案,充分利用了大量潮汐资源,为模型训练提供了有力支撑。火山引擎视频云团队提供的点播解决方案还为PixelDance生产的视频提供了从编辑、上传、转码、分发、播放的全生命周期一站式服务,让模型的商业化应用有了保障。

据了解,豆包视频生成模型PixelDance于9月24日发布,该模型采用 DiT 架构,通过高效的DiT融合计算单元和全新设计的扩散模型训练方法,突破了多主体运动的复杂交互、多镜头切换的内容一致性难题,在业界引起广泛关注。目前,豆包视频生成模型已通过火山引擎面向企业开启邀测。

多项“音视频+AI”技术方案,助力企业全链路适配AIGC时代

此次活动中,火山引擎还发布了跨语言同声复刻直播方案、多模态视频理解与生成方案、对话式AI实时交互方案和AIG3D&大场景重建方案,从视频的生产端、交互端到消费端,全链路融入了AI的能力。

火山引擎视频云负责人Yongyuan 指出,在AI视频时代,人和AI交互变得更加动态和生动,这要求处理链路更加智能和交互。

以对话式AI实时交互方案为例,依托豆包大模型和火山引擎视频云自研的多项算法,火山引擎为用户提供了智能对话和自然语言处理的强大能力,可实现毫秒级人声检测和打断响应,以及丝滑稳定的端到端响应体验。

在沉浸式消费体验方面,火山引擎通过AI生成3D内容和大场景重建方案,为山西高平二郎庙金代戏台和北京正乙祠两座珍贵的历史建筑生成了3D数字资产,并以虚拟直播间的形式应用于抖音的戏曲直播场景。

了解到,大会上,王悦还透露了字节自研视频编解码芯片的最新进展,经过抖音集团内部的实践验证,该芯片在同等视频压缩效率下,成本节省了95%以上,还在2024MSU世界编码器大赛中一举夺得最佳ASIC编码器。

王悦表示,该芯片将于近期正式对外开放测试,招募首批种子用户,共同探索商业价值的可复制性。

原创文章,未经授权禁止转载。详情见 转载须知 。

火山引擎发布大模型训练视频预处理方案,已应用于


本文地址: https://www.gpxz.com/article/1fb99eb5e88b368ba3b9.html
全局中部横幅
全局中部横幅
快导航网

快导航网(www.hifast.cn)-站在前方,为你导航,一个全人工编辑的开放式网站分类目录,在这里汇聚了网上较为优秀的网站,目的是满足用户日常的网址导航需求,帮助用户发现更多有趣的网站,旨在打造高质量导航分类目录网站!

电影大全

影视快搜电影频道-提供最新电影,好看的电影,最新电影排行榜,涵盖喜剧片、科幻片、战争片、武侠片、爱情动作片、等电影大全在线观看或下载,精细分类让您发现好看的电影大片。

青云聚信:一站式配送服务

青云聚信履约配送聚合平台是具有聚合发单,聚合配送,外卖自配送功能的一站式配送平台。能够为商家提供多商流渠道订单接入聚合的能力,并且接入美团跑腿、达达、顺丰同城、闪送、uu跑腿等同城配送主流运力品牌,实现订单聚合、多运力赋能、比价发单,为商户提供高效便捷的即时配送服务,也可在青云平台内完成各商流订单履约配送环节的一站式管理。

禾丰绣花机

欢迎来到禾丰绣花机网站。禾丰是国内电脑绣花机技术领先的高新技术企业。禾丰全系列产品采用标准模块化方式生产,精工制造,让刺绣更简单。

吉名网

吉名网是一个专业在线公司起名网站,免费分享2026最旺的公司名称,创意新潮公司名字,好听的公司名字参考大全,让公司选名取名更容易!

起帆电缆价格

上海安德琼实业有限公司主营起帆电线电缆,阻燃电线电缆,起帆光伏线,橡套电缆以及船用电缆等产品,厂家直接销售,价格优惠,产品大量现货供应,规格齐全,质量保障,售后服务完善,有起帆电缆采购需求,欢迎新老客户来电选购:182-0218-2930.

新夷仪器科技(上海)有限公司

新夷仪器科技(上海)有限公司,Triplets仪器,8站比表面仪,真密度分析仪,真密度测试仪,化学吸附,接触角分析仪,激光粒度仪,液氮泵,开闭孔率测试

北京绿亨动保科技发展有限公司

北京绿亨动保科技发展有限公司是一家专业从事兽药的研究、开发、生产与推广的综合性公司,公司的领导层由一批教授与博士组成,公司以中国农业大学、农科院等高校、科研院所为技术依托,一靠科技,二靠信誉,组装市场,营销起步,开发推广一流产品,加速科研成果商品化、市场化。公司的宗旨是:把深奥复杂的农业高新技术产品以简单、明了的形式服务于中国农民。

激光切管机,盲孔机,管材检测,刻字机

长春北兴激光工程技术有限公司为您提供激光切管机,盲孔机,管材检测等设备产品,公司多年来从事激光切管机,盲孔机,管材检测等的研发,经验丰富并获得过多项国家级大奖,值得信赖,北兴激光让您放心的选择!

河南吉泰集团有限公司

河南吉泰集团有限公司经营范围:污水处理及其再生利用;自来水的生产和供应;市政公共设施管理;城市基础设施建设;城市绿化管理;投资与资产管理;土地整理;育种和育苗;房地产开发经营;工程管理服务。

2024年好玩的安卓手机游戏免费下载

游戏坛子为您提供2024年最新最全的安卓手机游戏免费下载、热门手机软件下载,同时还提供各种热门手游攻略、手游礼包码、手机app应用使用说明等,更多游戏相关内容,请关注游戏坛子。

聚氨酯脱模剂

上海力太化学有限公司是一家专业的PU脱模剂厂家,提供聚氨酯脱模剂和聚氨酯水性脱模剂等产品.我们致力于为客户提供高质量的脱模剂,帮助客户提高生产效率和产品质量.联系方式:021-57868585


全局底部横幅