腾讯版Sora发布即开源！130亿参数 推理代码全开放 模型权重 (腾讯版sora)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。 模型权重、推理代码、模型算法 等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如openai的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
本文地址： /article/b9fe09c5cc5dc16d81c2.html
河南郑州最专业的手机app开发制作团队和公司,专注手机app开发制作五年以上,开发制作过几十个手机app项目,具备承接大型app项目能力！QQ:1278560556
我公司主要产品包括真空干燥机、闪蒸干燥机、气流干燥机、振动流化床干燥机、DW型带式干燥机、离心喷雾干燥机、燃油燃气热风炉、GFG系列高效沸腾干燥机等多种系列干燥机。
Websitecreatedusingcreate-react-app
数码资讯网提供最新的科技资讯、产品评测、购买指南和使用技巧。我们涵盖智能手机、电脑硬件、数码相机、家居智能设备、游戏娱乐等各类数码产品领域。
木鱼小铺是合肥一家新零售商城小程序解决方案服务商，主打新零售微信商城小程序制作，专业提供高端新零售商城小程序解决方案。致力于通过微信小程序帮助线下商家，解决经营过程中遇到的“效率、品牌、营销、数据”四大难题。
SECUREWE斯惟整装®坚持原创设计与服务创新，用极客精神做工艺研发与项目管理，用互联网思维提升服务与运营能力，致力于为广大业主提供定制设计、精益施工的家庭装修整体解决方案，构建更具时代感、更具性价比优势的泛家装服务生态链。
巨峰科技是一家以“研发”为核心，集生产、销售、服务于一体的高新技术企业，致力于提供高品质、高性价比的安防产品和行业解决方案。
车载灭火器、家用灭火器、商用灭火器、悬挂式灭火器、推车式灭火器、气溶胶灭火器、应急灯、灭火器箱、灭火毯、固定带、消防指示牌、抢险救援、个人防护、呼吸器、手台机动消防泵、头盔、消防服装、手套
[上海IT外包服务公司]上海弱电工程，机房建设请上上海IT服务公司网。致力于上海及周边地区的IT服务，网管外包、弱电工程、网络工程,监控工程,安防监控,网络监控,门禁系统,电脑维护外包,综合布线等服务。公司承接上海弱电工程同时为企业提供上海安防监控,上海网络监控,上海防盗报警,上海综合布线服务,上海安防监控,上海网络监控服务热线：15000939810.
阅品美食是一个专业的美食网站。提供丰富的菜谱、食谱、菜谱家常菜做法大全，全国各地菜谱大全，精美的美食图片，生动的美食视频让你最快学会各类家常菜，更有菜谱图文视频讲解。还有丰富的养生食谱供你选择，阅品美食值得你收藏的美食网站！
几个世纪以来，数学家们一直想知道欧拉流体方程在某些情况下是否会崩溃或被，爆破，一种新的机器学习方法让研究人员确信，这种，爆破，即将到来，250多年来，数学家们一直试图，爆破，一些物理学中最重要的方程式，比如描述流体流动的，如果他们成功，他们会发现，在某种情况下方程会被爆破——比如可能会出现一个无限快地旋转的漩涡，或者出现一个突然停止...。
1972年，为了解决腹部剧痛的辅助诊断及手术问诊需求，世界上最早的医疗AI系统，AAPHelp，在英国利兹大学问世当时，英国的很多学者和医生都亲眼见证了这个靠程序语言输入、在大型计算机上运行，执行结果只能输出0与1的机器怪物，4年之后，受此启发，斯坦福的BruceG.Buchanan教授也将这种展示人类专业决策和知识应用的技术，从实...。
万字实录，从DDCTF大赛看当前网络安全新趋势，雷锋网公开课总结文＋视频，下篇，万字实录，从DDCTF大赛看当前网络安全新趋势，雷锋网公开课总结文＋视频，上篇，Android原生保护壳的原理与实现，雷锋网公开课总结文，视频白帽黑客教主TK告诉你，黑客的游戏CTF究竟是什么，雷锋网公开课总结文，视频百度讲师，以struts2为例，教你打...。
发表在天猫魔屏2021，8，614，42天猫魔屏投影仪没有内置电视直播软件，也没有办法直接下载，那天猫魔屏怎么看电视频道呢，本文告诉大家一个最新的看电视的隐藏教程，方法一，1、下载当贝市场安装包拷贝到U盘，在天猫魔屏投影仪上安装；2、安装成功后，在当贝市场搜索电视节目单；3、打开电视节目单，在，收藏与预约，的界面，按下相应的口令；此处...。
其实很早就想写了，奈何当时啊有事耽误了，等有空闲都过了好几天了，再想写就get不到当时的心情和想法了还好今天看到一篇文章又让我想起了当时的感受，所以吧今天就不偷懒了，努努力写完他也算是经历了一些事，也算是有了些感想，到年底总要写点什么不是，这篇文章里我可能会零零碎碎说一些，估计上下文不成体系，不能连贯，大家看着玩吧，希望能有一起讨论的...。
梦见自己在吃饭是什么预兆梦见自己在吃饭是什么预兆，咱们每天做梦的内容也是会不同，做这样的梦可以满足人们心坎深处的愿望，做这样的梦是什么预示很多人都会猎奇，以下解析梦见自己在吃饭是什么预兆梦见自己在吃饭是什么预兆1梦见吃饭的梦幻解析梦见吃饭，运势不佳，预示着梦者的财运将有降低的或许，支出将远远超越支出，这时，应立刻做好最节俭的估算，不同...。
MINIJCWCOUPE的年度养车老本估量MINIJCWCOUPE，作为一款出口小型跑车，其搭载的1.6T涡轮增压引擎的燃油消耗大约在每百公里10升左右，在计算一年的养车费用时，咱们须要思考以下几个主要起因，燃油费用，这局部费用与团体驾驶里程严密关系，假定每年平均行驶10，000公里，MINIJCWCOUPE的年度燃油老本估量约为12...。
西风流行景逸x6是中国西风汽车公司推出的一款SUV车型，其外观设计繁复大气，车身线条流利，作为一款中型SUV，该车在悬架调校和操控性方面获取了不错的体现，同时也具有良好的温馨性和安保性，那么，这款车的多少钱终究是多少呢，上方就为大家详细引见，1.预售多少钱，厂家指点价，13.99，19.99万元2.实践售价，目前实践售价仍有必定浮动，...。
三菱是日本的一家驰名汽车制作商，其在环球领有宽泛的开售网络，作为该品牌的关键产品线，三菱轿车不只领有低劣的质量和牢靠的性能，同时还提供了多种不同的车型，上方咱们来逐一引见一下，首先，三菱轿车的经典车型——Lancer系列，Lancer作为三菱车型中的翘楚，在全环球范围内领有宽泛的用户个体，其车型种类丰盛，包括Sedan、Hatchba...。
地图找房，1、首先进入58同城首页，点击商铺选型，2、而后在商铺页面点击地图找房，3、其次在地图找房下拉选项当选用买商铺，并在输入栏中输入佛山狮山李边夜市，4、最后点击查问，在挑选出的商铺中找到中意的商铺，佛山58同城公司的办公地址在哪里，咨询电话是多少，佛山58同城公司最新办公地址，广东省佛山市禅城区文明北路181号城央大厦1201...。
花蛇app是手机社交软件，在这里你可以结识到志趣相投的朋友，扩大自己的交友圈子，在这里轻松找到好友。这里2265小编为大家带来花蛇app详细介绍，不要错过哟~ 花蛇app是什么？ 花蛇是由资深玩家布道者开发的BDSM社交平台。以其对现今情感社区专区两性关系现状
第十八届金鹿奖提名名单
第十八届金鹿奖提名名单
顺企网金华公司注册服务公司厂家大全列表，包括浙江卓志企业管理咨询有限公司、浙江卓志企业咨询管理有限公司、义乌市企梦企业管理咨询有限公司、义乌市诚信通电子商务有限公司等在内的22家金华公司注册服务公司厂家的地址电话法人代表和联系电话等信息。1页，当前显示第1页结果，按照产品多少和注册时间排名
花蛇app是手机社交软件，在这里你可以结识到志趣相投的朋友，扩大自己的交友圈子，在这里轻松找到好友。这里2265小编为大家带来花蛇app详细介绍，不要错过哟~ 花蛇app是什么？ 花蛇是由资深玩家布道者开发的BDSM社交平台。以其对现今情感社区专区两性关系现状
在这里下这是VideoSpeedyVideoSpeedy减速器是一款终身不要钱的视频减速软件，减速后能够有效消弭画面进度，让您领有真正流利的视频体验，它片面允许土豆网、56网、酷6网、新浪播客、西方宽频等各大干流视频网站最近修正，1.新增介绍节目标分类2.允许介绍节目标下载、播放节目标暂时保留和另存，本地保留的是VSF公用格局文件3....。
有哪些是可以随时收费追剧的工具，在这篇2023最火爆的追剧影视大全app清点就搜集到了很多最受欢迎的，下载之后就可以轻松的观看自己最喜欢的电视剧和电影，须要的用户快来一同下载2023最火爆的追剧影视大全app吧！heibai弹幕app下载行星视频ios版本行星视频ios版本追剧影视大全app有哪些1、heibai弹幕app下载介绍理由...。
