腾讯版Sora发布即开源！130亿参数 推理代码全开放 模型权重 (腾讯版sora)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。 模型权重、推理代码、模型算法 等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
本文地址： https://www.gpxz.com/article/b9fe09c5cc5dc16d81c2.html
轻略，整合全网资源。根据内容属性进行垂直分类和多角度聚合，为您提供丰富、灵活的内容定制。只需一站即可掌握全网资源，无需搜索就可获得关注内容。不仅是您的网络资源管家更是轻量优雅的上网入口。
澄迈数码科技网_提供深度评测、科技趋势报道以及购买建议，助您更好地了解市场动态。不论您是科技发烧友还是普通用户，数码手机网都将为您呈现有价值的内容和信息。
河南泉象实业有限公司是一家集研发·生产·销售为一体的综合性企业。公司由上海泉象实业有限公司乔迁组建而成，于2017年由上海映智实业有限公司和平煤神马尼龙投资管理有限公司共同出资成立，注册资本6000万元。
石家庄世联达科技有限公司是一家专业从事天线测量系统,5G天线测量,测量转台,伺服转台,姿态仿真转台,天线教学系统的高科技型企业.欢迎致电咨询!
华夏视窗网提供海量优质的范文、经验、百科、常识、知识、问答供大家学习和了解。
丹青AI绘画网站提供免费在线一键AI绘画入口和AI图片手绘画设计网页版,AI绘画生成器进行AI绘图自动在线文生图和图生图,最新版原生ai绘图体验,AI绘画软件让你可以轻松体验AI绘画的人工智能AI作画变卡通动漫化等.
【广州搬家公司】厚道搬家公司，专注【广州搬家】、【深圳搬家】，优质服务，安全便捷，2026年广州深圳最新搬家收费活动进行中，在广州搬家，深圳搬家就找广东厚道搬运公司。
华中师大一附中福星学校是由福星集团控股有限公司全额投资建设的民办全日制寄宿学校，由湖北省唯一命名的窗口学校——华中师大一附中负责教育教学及学生管理。
廊坊市捷德(www.langfangjiede.com)是国内外专业的防爆红外激光测距仪,2000米防爆激光测距仪供应商，本公司不仅具有国内外精湛的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
宁波鸿英国际物流有限公司
Zoomla!逐浪CMS是国内最大的高端CMS网站内核与管理系统研发厂商,集成内容管理、商城、OA、SNS、项目管理、采集、邮件订阅百项功能,基于.net平台并支持跨平台与移动开发,同时支持MSSQL与Oracle两大数据库,用于快速构建门户网站,提供门户站群与云计算支持
2020年6月7日，哈尔滨工业大学迎来百年校庆，作为一所以理工科为主的全国重点大学，哈尔滨工业大学成立100年，不仅仅哈工大自身的一件大事，也是我国科学技术领域的一件大事，图自哈尔滨工业大学官网不仅如此，由于哈尔滨工业大学在我国AI技术人才培养中的重要角色，哈工大百年校庆也算是AI领域的一件大事，借此大背景，雷锋网也简单盘点一下哈尔滨...。
雷锋网AI掘金志按，7月12日，7月14日，2019第四届全球人工智能与机器人峰会，CCF，GAIR2019，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办，在大会第三天的〖智能商业专场〗，阿里巴巴集团副总裁、CEO助理肖利华，京东零售首席科学家兼技术副总裁胡鲁辉...。
获悉，近期，国内头部游戏公司米哈游据传正在大幅收缩用云量，其中对某家云大厂的预算近乎砍半，计划由原先的每年10亿左右，逐步降至不足6亿，被砍掉的大部分是数据库的用量，此前，米哈游是该云大厂数据库产品的最大客户之一，据悉，米哈游此次大幅削减云预算是出于降本需求的考量，今年，受多重因素影响，米哈游海外市场份额正在下滑，自9月以来，海...。
ingpo大神级投影控发表于2023，08，23投影仪幕布灰晶和黑晶幕布是两种不同的反射屏材料，它们的区别主要体现在以下几个方面，1.反射率不同，灰晶幕布相对来说反射光线较弱，黑晶幕布相对来说反射光线较强，2.防光干扰能力不同，黑晶幕布具有良好的防光能力，可以有效地降低周围环境光对投影画面的干扰，而灰晶幕布相对来说防光干扰能力较弱，3...。
当天上午，天舟八号货运飞船发射义务组织全区合练，目前，发射义务各系统曾经实现了关系配置审核，并做好发射前的各项预备上班，总台央视记者王刚李昊，关系报道，天舟八号启动垂直转运，，月壤砖，将初次入地，央视资讯，太空快递又要入地啦！天舟八号船箭组合体垂直转运正在启动10月30日，中国空间站迎来神舟十九号乘组，按方案，天舟八号货运飞船将为神...。
2024年7月11日半夜12点35分自己在淘宝app购置短袖一件付款金额28元于7月13日收到快递关上包装是一双鞋垫而后与淘宝官网客服交涉商家挂羊头卖狗肉欺诈生产者客服动员揭发商家流程24小时后淘宝客服查看实现投入成立并给我抵偿发放了一个5.6元的购物红包并登程卖家我对此结果不赞同再次提起揭发淘宝官网客服给我打电话说依照淘宝公司规则因...。
猎豹普通划分为三个亚种，区分是猎豹西非亚种、猎豹指名亚种以及猎豹印度亚种，猎豹栖身在温带、热带的草原、沙漠以及有稠密树木的大草原，为食肉生物，重要食物是各种羚羊，一次性只捕杀一只猎物，奔跑速度快，现存有3个亚种，猎豹的是什么车，猎豹汽车是中国最大的轻型越野汽车制作商之一，重要消费高质量的SUV和皮卡车，其产品宽泛运行于政府公务用车、军...。
北斗卫星导航系统由空间段方案由35颗卫星组成，包含5颗静百止轨道卫星、27颗中地球轨道卫星、3颗歪斜同步轨道卫星，5颗运动轨道度卫星定点位置为东经58.75°、80°、110.5°、140°、160°，中地球轨道卫星运转在3个轨道面上，轨道面之间为相隔120°平均散布，至2012年底北斗亚太区域导航正式申请时，版已为正式系统在西昌卫星...。
打包神器是对于文件最终成型进行操作的工具，主要拥有基本配置、找回密码、自动打包三个模块的功能项设置
机械师m5鼠标驱动是一款专门针对机械师旗下的同名鼠标产品推出的官方驱动程序，这款鼠标支持用户自定义调整鼠标宏和灯光特效
WeBuff修改器是一款单机游戏修改器整合工具，包含艾尔登法环修改器、泰拉瑞亚修改器、荒野大镖客修改器、看门狗修改器、赛博朋克2077修改器、GTA5修改器等上千款热门单机游戏修改器，修改器功能包括无
网络修复工具(CompleteInternetRepair),CompleteInternetRepair作为网络修复工具可从容应对各种网络故障问题，无乱是TCP/IP设置错误还是Winsock、DNS、IE浏览器设置错误等等，几乎所有的网络故障都能通过这款万能网络修复工具解决,您可以免费下载。
在云栖大会上，阿里云推出了一款绝对超级超值的99元云服务器，并号称是11月销量王，什么?云栖大会11月2号结束的，你就号称11月销量王，这是未扑先知啊，如果你也要买这块主机，一定更要仔细看了，本文绝对公平公正客观！作为多年的云主机代理商和分销商，松松带大家看看这个机器到底如何，先看配置，2核2G，3M固定带宽，40GESSDEntry...。
8月16日，抖音、中国电影资料馆、火山引擎在北京举办，再续时光，经典香港电影修复发布会，会上，抖音副总裁陈都烨宣布，三方正式启动，经典香港电影修复计划，，一年内将100部香港电影修复至4K版本，本次修复工作由火山引擎提供技术支持，与中国电影资料馆一起对电影进行，AI，人工，修复，火山引擎视频云技术架构总监王悦表示，火山引擎首次将视觉...。
西安利君制药股份有限公司生产的，利君沙，处方药，和，多贝斯，非处方药，，以及其下败毁属陕西利君现代中药有限公司生产的，妙济丸，非处方药，等多款产品因广告违法情节严重，被北京、四川等多地食品药品监督管理局通报，根据，药品广告审查发布标准，、，医疗器械广告审查办法，、，保健食品广告审查暂行规定，判定，北京、四川等地药监部门对多家媒体...。
发表在奥图码投影机2022，3，311，28在购买投影仪时，不少网友会选择短焦投影仪，这样能够更加节省空间，奥图码投影仪也有很多短焦投影仪产品，并且还能够更换镜头，本文介绍的就是奥图码投影仪短焦镜头怎么安装的全部步骤，奥图码投影仪安装短焦镜头弄松塑料盖，揭开缩放镜头上的螺旋线套，螺旋线套就是紧套在镜头末端的浅灰色盖子，抓住然后把它从镜...。
中国人寿保险昆山支公司，地址，苏州昆山市集街286号；，中国人寿保险官网江苏电话中国人寿保险股份有限公司，地址，南京市中山东路298号中国人寿广场1层中国人寿保险股份有限公司江苏省分公司电话销售中心，苏州，详情»地址，金枫路216号东创科技园B4座1，5楼江苏省不同的城市有很多家分公司，具体可以推荐登入中国人寿官网，点击，营业网点查...。
