模型权重 推理代码全开放 腾讯版Sora发布即开源！130亿参数 (模型权重推理怎么做)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
，成为目前参数量最大的开源视频生成模型。
模型权重、推理代码、模型算法
等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
本文地址： /article/55f64964264d5ae050a2.html
第二教育网成立于2002年，是以服务学校为宗旨的资源门户网站。为学校及教师提供教案、课件、试题、学案、素材、安全教育、清北学霸公开课、教师成长培训、学生学习方法等资源和课程，是学校和教师值得信赖的教育资源平台。
湖南耐威包装为全国砖厂用户提供:砖厂打包机,砖块,砖头,水泥砖,加气块,空心砖,多孔砖,标砖打包机。及红砖打包机视频教程,无托盘打包砖图片方法。致力砖厂打捆打包专业解决方案服务商。
深圳中环博宏环境技术有限公司公司业务涵盖环境影响评价、环境政策及规划研究、垃圾分类综合咨询、环保第三方调查监管、环卫第三方监管考评、环保工程设计建设运营、系统平台开发等。
弗兰博格（FOBG)源自德国的供热品牌，由弗兰博格·米勒（FrankborgMueller）于1993年在布里茨（BRITZ）创建，是德国专业的供热设备制造商，弗兰博格（FÖBG)以追求：安全、健康、舒适的居住环境为公司经验理念，从研发到制造，从产品到集成，进而成为创新和增值的采暖解决方案制定者。
好运物流网是专业的物流网站，物流网竭诚为您提供物流信息、货运信息、物流公司、物流货运专线、货源车辆、快递搬家、货运代理等海、陆、空全方位物流信息，为物流相关各方提供一个安全、高效、及时的物流查询服务。
上海绘统光学仪器厂是专业的生物显微镜,偏光显微镜,相称显微镜,金相显微镜供应商，主营产品有：生物显微镜,偏光显微镜,相称显微镜,金相显微镜等,上海绘统光学仪器厂不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
珠海格力电器股份有限公司是一家集研发、生产、销售、服务于一体的国际化家电企业，拥有格力、TOSOT、晶弘三大品牌，主营家用空调、中央空调、空气能热水器、手机、生活电器、冰箱等产品。
IT大数据技术、数仓学习分享
安徽同胜德自动化设备有限公司
一寸云，企业级高可用云服务器
一个曲折的逻辑出现了，因为TikTok有可能被美国最高法院封禁，所以大批TikTok用户涌入了小红书，在翻阅了无数标记着，#TikTok难民，的小红书帖子后，笔者大概理解了这个逻辑，TikTok官方面临可能被封禁的巨大压力，积极引导用户转移至其旗下的生活方式应用Lemon8，Lemon8是类似于小红书的生活方式平台，但是用户担心，Le...。
雷锋网7月24日消息，华为云中国行北京站的现场，华为云公布了目前整体进展以及AI时代下华为云EI的理念和思考，并发布国内首个完整的公有云容灾备份解决方案——华为云Multicloud混合云灾备解决方案，华为云EI平台架构，数字化转型趋势已经进入到了非常关键时期，无论是政务云，还是企业，包括互联网领域都已经在加速做数字化的转型，，华为云...。
1月22日，华为与东风汽车集团旗下的电动汽车品牌岚图正式签署战略合作协议，华为方面由华为副董事长、轮值董事长徐直军、华为智能汽车解决方案BUCEO靳玉志等人出席，一位东风汽车员工对表示，双方会侧重车机等领域的合作，这次合作可看作是双方战略合作的延续，从官宣照片的站位来看，负责智选车业务的华为汽车BU董事长余承东并未出现，而是...。
历史的车轮滚滚向前，时代潮流浩浩荡荡，眼下，第四次工业革命正在发生，数据的力量已逐渐凸显，自动化、大数据和人工智能浪潮，正越来越深入地影响着一切，人们通过挖掘数据的潜在价值，为生产制造、零售、医疗、环保等众多行业注入鲜活力量，用数据的力量重塑人类世界，随着智能制造、智慧工厂、工业互联网等进阶版概念进一步发酵，制造业的边缘功能重心由接入...。
华为成立，五大军团，，任正非，和平是打出来的近日，华为心声社区上传了华为军团组建成立大会的视频，视频介绍称，2021年10月29日，华为公司在松山湖园区举行军团组建成立大会华为创始人、CEO任正非，以及董事长梁华，轮值董事长郭平、徐直军等一众高管出席了大会，任正非在现场讲话称，我认为，和平是打出来的，我们要用艰苦奋斗，英勇牺牲，打出...。
按，每年的re，invent简直就是一场亚马逊云技术能力的大型展销会，每年的re，invent简直就是一场亚马逊云技术的大型展销会，一系列产品总能击中你的兴奋点，让你隐隐预感某些技术将迎来新的时代革命，2021re，Invent全球大会期间，在拉斯维加斯，新任亚马逊云科技首席执行官AdamSelipsky对亚马逊过去十五年的发展...。
从不停止进化和成长脚步的人，才能先人一步看到未来，2月8日，华为，超融合，战略暨新品发布会上，华为公司副总裁、华为数据存储产品线总裁周跃峰博士的演讲题目是——，超融合，，超越传统融合，进化不止，超融合进化一直是业界普遍关注的话题，10年前，以Nutanix为代表的企业率先将服务器、存储、网络设备打包进一个，盒子，中，让IT基础设施...。
12星座绝配，1、白羊座最配的星座白羊vs白羊，两只白羊在一同，性情相近，都能不时的变动外型迎合对方的新颖感，白羊vs射手，两个星座都很爱玩，都很情愿和好友在一同，这样沉闷的两团体最适合，2、金牛座最配的星座金牛vs巨蟹，巨蟹的顾家和金牛的会理财，搭配好了会十分的幸福，金牛vs天蝎，宿愿被关照的金牛，和很会关照人的天蝎在一同，会很珍惜...。
飘雪影院热播电影排行中，目前位列前茅的电影包含，漂泊地球2，、，满江红，、，无名，等，这个排行是基于多个起因的综合评价，包含但不限于票房支出、观众口碑、影评人评价、社交媒体热度等，例如，，漂泊地球2，以其精彩的剧情和视觉成果，吸引了少量观众，从而失掉了高票房，同时也失掉了影评人和观众的高度评价，因此它在排行中名落孙山，雷同的，，满江红...。
中兴旗舰a9柴油皮卡深度解析，中兴旗舰a9柴油皮卡，以其共同的尺寸和设计理念，吸引了广阔消费者的眼光，车身长度到达4米8，而轴距则占据2米86，这一比例在同类车型中颇为稀有，赋予车辆共同的稳固性和经过性，该车承袭了，hilux，的坚挺车体结构，驳回前后全体车桥设计，清楚增强了车身强度，即使在负重形态下也能坚持稳固的上班性能，虽然这种设...。
新京报讯据，生态密云，微信群众号，近日，北京市民政局组织展开的首届，最美养老护理员，评比优惠发布了10名获评者名单，密云区冯家峪镇社会福利核心杨文英、东邵渠镇社会福利核心王秀慧榜上有名，最美养老护理员，评比优惠，旨在增强养老服务人才队伍树立，树立养老护理行业榜样典型，密云区获评此名称的人数位居首都生态修养区首位，在本次评比优惠中，...。
瑞星杀毒软件V17是一款采用瑞星最先进的四核杀毒引擎，性能强劲，能针对网络中流行的病毒、木马进行全面查杀。同时加入内核加固、应用入口防护、下载保护、聊天防护、视频防护、注册表监控等功能，帮助用户实现多
BitComet(比特彗星),BitComet比特彗星BitComet比特彗星中文官方版是基于BitTorrent协议的高效p2p文件分享免费软件俗称BT下载客户端，支持多任务下载，文件有选择的下载；磁盘缓存，减小对硬盘的损伤,您可以免费下载。
xvox混音插件,xvox混音插件是一款功能强大，专业实用的优秀音频混音和处理的插件。混音插件能够用来调整音轨的音量、平衡、均衡器设置、添加特殊效果等等。欢迎下载使用,您可以免费下载。
三国竞技场自走棋攻略是dota2全新自走棋模式的游戏攻略。加入三国武将，你需要组建超强阵容进行战斗。那么三国竞技场自走棋怎么玩呢？我游网为大家带来DOTA2三国竞技场自走棋阵容推荐。
微信指付通是什么?最近微信又推出了新功能了，那就是指付通，很多用户是不是对指付通还不是很了解呢，下面2265小编就来给你详细的功能信息介绍哦。 指付通是一种指纹支付方式，在付款时，在消费付款时，无需银行卡、现金，只需在专门的支付设备上按下指印，系统
瑞星杀毒软件V17是一款采用瑞星最先进的四核杀毒引擎，性能强劲，能针对网络中流行的病毒、木马进行全面查杀。同时加入内核加固、应用入口防护、下载保护、聊天防护、视频防护、注册表监控等功能，帮助用户实现多
