模型权重 推理代码全开放 腾讯版Sora发布即开源！130亿参数 (模型权重推理怎么做)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。
模型权重、推理代码、模型算法
等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
本文地址： https://www.gpxz.com/article/55f64964264d5ae050a2.html
纵横数据成立于2005年,是业内知名的企业级高可用云服务器提供商！主营全球服务器租用与托管、国内云主机、海外云服务器、动态拨号VPS、显卡服务器、大带宽服务器等一站式全球IT网络解决方案提供商。纵横数据一直致力于全球互联网数据基础业务和网络营销解决方案的实施，是一家极富创新性的科技公司。
中学课件网为您提供优秀的初中|高中ppt课件下载与赏析,涵盖语文、数学、英语等全部9个学科。得益于学科网优质的教学资源,中学课件网将全力打造更专业的中学课件资源网。
IT技术交流，IT经验分享：关注SEO、建站、站长、网络推广、互联网、PHP、Mysql、Nginx/Apache、linux/windows服务器......知识。
瓦房店中北轴承制造有限公司提供多种高品质中大型轴承，包括冶金轴承、轧机轴承、矿山轴承等，满足您的各种需求。
杭州米优自动化技术有限公司(www.muzdh.cn)主营单孔单控土壤干燥箱,平板式翻转振荡器,多功能水平振荡器,全自动温控翻转振荡器等产品,本公司从事实验室样品前处理设备的生产、研发与销售,欢迎新老客户来电洽谈
成都迈斯拓公司拥有30多年从事内燃机润滑油、抗结焦（长寿命）导热油、液压油、齿轮油、金属加工油、压缩机油、金属处理器油、减震器油、变速箱油、润滑脂等产品的研发团队；取得多项专利技术、测试技术专利；是国家高新技术企业，通过ISO9001国家质量体系认证和ISO14001环境质量管理体系认证；导热油在线再生复合添加剂被评为2015年成都市重点新产品。
腾讯地图服务商业服务版本授权，地图标注SDK开发，腾讯地图服务商对接各种需要使用腾讯地图免费服务联系我们wx：qcloud0755
沈阳青年电子商城
江苏可兰素环保科技有限公司成立于2009年8月，是一家生产车用AdBlue及车用AdBlue加注设备、工业脱硝还原剂、防冻液以及汽车环保类产品的高科技产业。
深圳市四方智源科技有限公司(四方智源)，作为新兴的勘察设计行业信息化服务提供商，由从业多年的勘察设计行业专家级IT人士领军组成，拥有十余年行业信息化研发经验以及多名行业信息化一线专家组成的专家资源(并在不断扩充中)。
长久汽车制造有限公司是长久集团旗下的全资子公司，拥有滁州、吉林、北京三大生产基地，生产能力30000台/年。公司建立了完善的质量保证体系，通过了IS9001、2015认证和CCC产品认证，获得了100余项国家专利，其中30余项发明型专利。公司积极布局平台化产品发展战略，拥有中置轴、甩厢车两大核心技术平台7大产品系列100余个产品，中置轴、空气悬挂、液压甩箱机构是我们的核心技术。
万邦物流网为您提供全国物流专线、物流公司、货运物流查询、国际物流、物流展会、物流资讯等物流行业信息，打造一流的全国物流信息查询网。要发货上万邦。
goodnotes怎样调整笔画粗细，goodnotes是很好用的一款记笔记的软件，软件的功能实用，操作也是很简单的，为了大家可以轻松的笔记，软件内的画笔粗细也是可以自己调节的，那么应该怎么调整呢，下面就一起来看看吧！...。
很多Win10用户更新版本后，遇到了打不开商店，系统提示错误代码0x80072ee2的情况，这种情况通常是由于电脑上某个程序阻止Windows更新和商店正常联网所致，用户们只要找到这个程序，并且停止该程序的阻碍行为就可以解决问题，下面小编就和大家分享下具体的解决方法。
2024年9月6日，服务机器人领导品牌科沃斯于2024德国柏林国际消费电子展，IFA，重磅发布新品地宝X8PROPLUS，并凭借品牌全球影响力及产品创新，斩获两项2024IFA产品技术创新大奖——，家庭清洁机器人品牌奖，与，家居清洁解决方案金奖，IFA产品技术创新大奖是IFA展会旗下的一项重要年度评选，其对全球消费电子品牌进行权威评...。
德国医学专业学生的就业情况，总体而言，德国的医学教育是全球公认的高标准和严谨挑战的，它为学生提供了扎实的医学知识和技能基础，根据德国的医学教育体系，学生通常需经历13个学期的学习，并通过三次国家考试才能获得行医资格，这一严格的训练和考核过程，确保了医学生毕业后拥有较高的专业能力，以下是对德国学医的学生就业率的分析，教育体系，德国的医学...。
#王楚钦拿下决胜局#[祝贺！#国乒男团亚锦赛冠军#[英武]]2024乒乓球亚锦赛男团决赛，由@王楚钦，、林诗栋@林詩棟y、@乒乓球梁靖崑组成的中国队以大比分3，1打败中国台北队，夺得冠军，祝贺国乒！...。
8月13日，，婚姻注销条例，订正草案征求意见稿，以下简称草案，在民政部网站全文发布并地下向社会征求意见，订正草案相比原条例，在注销程序上作了较大修正，依据草案的规则，结婚注销和离婚注销都不再须要户口簿，也敞开了过去对注销的地区管辖的规则，联合民法典，草案新增了关于30天，离婚沉着期，婚前瞒哄严重疾病可撤销婚姻，等条例，并对，离婚...。
2024年6月18日，半夜12.50经常使用深圳市大疆翻新科技有限公司消费的大疆M300RTK无人机启动航行，风力2，3级，当日无人机在同一同降点共延续航行3个架次，第3架次时，无人机航行至15分钟左右，无人机航行高度70米左右，航行器距离遥控器直线距离150米，，电量残余百分之19，无人机毫无征兆的状况下，无人机自在落体坠机，造成无...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
环球孤独症关注日，解析，依据联结国大会2007年12月经过的决议从2008年起每年的4月2日被确定为环球自闭症关注日，4月2日是，环球孤独症关注日，，也叫，环球自闭症日，自闭症，又称孤独症，关键体现为不同水平的社交技艺、言语沟通技艺受损等，而自闭症患者常被人们称作是，星星的孩子，，他们孤独地闪动在自己的环球，假设家长发现儿童有以下行...。
数字币矿机，理财，带C2C交易，从其他地方转载过来的，看了一下不会玩这个。也没有测试是否完整。不过据源网站说是亲测完美运行没问题。具体怎么样自己下载玩吧。
特斯拉告别“鲶鱼”时代,鲶鱼,比亚迪,王传福,电动车,自动驾驶,埃隆_马斯克,特斯拉(公司),新能源汽车市场,特斯拉价格
Picshop(图片编辑软件),Picshop是一款功能强大，专业实用的优秀图片编辑处理软件。软件完全免费，拥有图像裁剪、图像旋转、图像拼接、灰度处理、马赛克、消除红眼等等基本的图像处理功能。欢迎下载使用,您可以免费下载。
遇到了好玩的游戏，肯定要和朋友分享了，多人在线一起玩更加有趣，对于游戏适合大家一起玩的游戏有很多，小编为大家总结了几款目前人气很高的多人在线能玩的游戏，有各种风格的玩法，可以让玩家感受不同的乐趣，尽情享受多人在线畅玩的快乐，和好友一起打发无聊时光，增进友情，这款动漫风的游戏十分经典，把原著的人物和场景做到了完美还原，画质简直是高质量，...。
人工智能行至2024，又见奇点潮涌，ToB市场的躁动与狂热说明一切，但置身其中的产业先行者们依然保持着清醒，在2025年伊始，我们与10位ToB领域CEO展开深度对话，探讨他们对中国企业级市场的思考，回顾2024的机遇与挑战，展望新一年的破局之道，他们所带领的团队，有深耕企业服务多年的SaaS企业，也有在云计算赛道沉淀多年的玩家，有专...。
日前，，财富，中文版，公布了2018年最受赞赏的中国公司，这48家公司是从37736名中国企业管理人反馈的837份有效回复答卷中挑选出来的，并且都是中国500强和世界500强中的中国企业，有趣的是，排名前五的公司均是科技企业，让我们看看都有谁，TOP5，阿里巴巴集团排在第五位的是阿里巴巴集团，其成立于1999年，马云是创始人之一，在...。
伴随着知识经济的到来，家长们越来越注重孩子的教育，从胎教到早教，们都在给孩们较好的，现在孩子很小的时候变进入早教班学习，当然，早教班的教学质量等等一切都成为了家长们选择标准，金瑞家婴幼儿早教是目前市面上涌现出的一家好的婴幼儿早教机构，综合实力较强如今在市面上拥有合格的口碑赢得了消费者的青睐，是加盟不错选择，那么金睿家婴幼托教实力怎么样...。
作为Twitter人工智能的大佬和哈佛学者，RyanAdam见证了越来越多的行业使用机器学习，但是他预计，能够成为行业领导的，是那些最大数据和最强计算能力的持有者，RyanAdam知道，这是AI最好的时代，他从2011年起担任哈佛大学计算机科学教授，并且是机器学习Podcast，会说话的机器，共同主持人，去年夏天，Adam领导一个团队...。
