模型权重 推理代码全开放 腾讯版Sora发布即开源！130亿参数 (模型权重推理怎么做)
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
腾讯版Sora，发布即开源！
，成为目前参数量最大的开源视频生成模型。
模型权重、推理代码、模型算法
等全部上传GitHub与Hugging Face，一点没藏着。
实际效果如何呢？
不瞒你们说，我真的看见一只大熊猫，在跳广场舞、吃火锅、打麻将，请看VCR：
到底是来自四川的猫！
目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。
开发者可通过腾讯云接入。
腾讯混元视频生成主打四大特点：
那么实际表现能否符合描述？下面结合实例一一拆解。
实测腾讯首个文生视频模型
首先是冲浪题材，涉及到画面大幅度运动，水的物理模拟等难点。
提示词中还特别指定了摄像头的运动，腾讯混元表现出流畅运镜的能力，只是在“最后定格在…”这个要求上稍显不足。
提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。
镜子题材，考验模型对光影的理解，以及镜子内外主体运动是否能保持一致。
提示词中的白床单元素又加大了难度，涉及到的布料模拟，也符合物理规律。
不过人们想象中的幽灵一般没有脚，AI似乎没学到，又或者是跳舞涉及大量腿部动作，产生了冲突。
穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。
再来一个综合型的复杂提示词，对主角外貌、动作、环境都有细致描述，画面中还出现其他人物，腾讯混元表现也不错。
特写镜头拍摄的是一位60多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35毫米电影胶片。
最后附上来自官方的写prompt小tips：
更多腾讯混元生成的视频，以及与Sora同提示词PK，还可以看看量子位在内测阶段的尝试。
最大的开源视频生成模型。
看完效果，再看看技术层面有哪些亮点。
首先从官方评估结果看，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先。
然后从目前公开资料看，腾讯混元视频生成模型还有三个亮点。
1、文本编码器部分，已经适配多模态大模型
当下行业中多数视觉生成模型的文本编码器，适配的主要是上一代语言模型，如OpenAI的CLIP和谷歌T5及各种变种。
腾讯在开源图像生成模型Hunyuan-DiT中适配的是T5和CLIP的结合，这次更进一步，直接升级到了新一代多模态大语言模型（Multimodal Large Language Model）。
由此能够获得更强大的语义跟随能力，体现在能够更好地应对画面中存在的多个主体，以及完成指令中更多的细节。
2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。
混元团队自研了3D视觉编码器支持混合图片/视频训练，同时优化了编码器训练算法，显著提升了编码器在快速运行、纹理细节上的压缩重建性能，使得视频生成模型在细节表现上，特别是小人脸、高速镜头等场景有明显提升。
3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。
混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。
与“分离的时空注意力机制”分别关注视频中的空间特征和时间特征，相比之下，全注意力机制则更像一个纯视频模型，表现出更优越的效果。
更多细节，可以参见完整技术报告～
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
本文地址： https://www.gpxz.com/article/55f64964264d5ae050a2.html
UC网盘是由UC浏览器推出的一款安全、智能、不限速的网盘产品。它提供了文件存储、分享、压缩包在线解压、高清视频在线播放、PDF文档格式转换、云相册等功能。目前已支持iOS、Android、电脑、电视等平台,满足你多端同步,多端协同的需求。
江西山江湖可持续发展促进会
「在行」是国内领先的知识技能共享平台。从现在开始，当你遇到任何领域的问题或是个性化的服务需求，都可以径直找到“对”的人，为你答疑解惑，出谋划策，定制服务。达人专家按需约见，人人共享知识技能，找创业职场心理咨询摄影师上在行。
文可AI提供先进的大型语言模型助手和知识管理解决方案，帮助您高效管理信息和优化知识流程。
山东净蓝环保科技有限公司专业致力于过硫酸氢钾,过硫酸氢钾底改片,过硫酸氢钾医用消毒粉,水产改底片,水质净化改良等相关产品,服务热线:13285367666。
康煌蚕丝被是高档桑蚕丝被品牌、高档欧式奢华真丝床品真丝四件套十大品牌之一.只采用100%纯天然特级桑蚕丝,重塑丝绸皇家尊贵,缔造高端优雅品质生活.
酥明玻璃网-夹丝玻璃,钢化玻璃,刻花玻璃,磨砂玻璃
北京华夏产业经济研究院是经政府管理部门批准成立的全国性新型民间智库组织
鞍山人信息网,鞍山信息港是一个什对鞍山百姓生活服务的网站,网站可以免费发布鞍山二手信息,鞍山房产出售、出租信息,鞍山招聘信息,鞍山人才信息,鞍山交友信息,鞍山号吧信息等.
国家级物联网领域高新技术企业北京智云寰球物联网科技有限公司通过人工智能和大数据技术结合人工督导服务为广大烟民提供高效戒烟产品和极致人工督导服务，戒烟侠是有效的戒烟服务平台，通过尼古丁替代疗法和心理干预结合的方式增大戒烟成功率，戒烟效果明显的同时也获得了众多客户的好评
苏州意美特科技有限公司主要业务涉及客户定制化真空灌封设备，项目方案、样品验证和新能电机灌封技术咨询，设备及产线自动化方案的实施和维修保养服务等
应用交付、负载均衡、流量采集器、网络性能管理、数据安全、SSL加速等产品系列，国产应用交付解决方案提供商。
美丽的花朵是我们生活中浪漫的点缀，自然在游戏世界中也会有很多与之相关的类型，这次小编就给大家带来几款2023关于花的游戏分享，这些游戏都以美丽的画面，活泼的色彩吸引着玩家的驻足，而它们也有着各种好玩的关卡任务，让玩家们在享受色彩愉悦的同时也拥有了游戏的乐趣，在这里你可以拥有独属于自己的美丽花园，种上各种各样的花朵，精心的培育它们，浇水...。
很多创业者想加入教育行业，但是却不知道该怎样选择要加盟的辅导班品牌，今天，小编就来为对初中辅导班有加盟想法的人，介绍初中辅导班加盟哪家好，事不宜迟，一起继续往下看吧！辅导班要在行业内运营下去，需要具备广泛的教学资源、专业的教师、好的学习环境，这三个因素，缺少其中一个都不行，经过长时间的运营，市面上已经有很多初中辅导品牌得到了稳定的发展...。
11月24日，OPPO正式发布Reno9、Reno9Pro、Reno9Pro，，3台新机横跨骁龙778G、天玑8100，MAX和3GHz版骁龙8，，定价2499元起，另外，这是连续第三天有大厂新品发布会了，3台新机都搭载一样的6.7英寸2160HzPWM调光的双曲屏，而且是绿厂首个全系标配红外发射器的产品线，有趣的是，Reno9Pro...。
12月22日，PalmPay正式使用蚂蚁数科旗下云原生PaaS平台SOFAStack提供的资金安全风险监控能力，2019年，PalmPay在尼日利亚推出电子钱包应用，集开户、转账、支付、理财、信用和生活服务于一体，目前用户数已突破3000万，服务商户数超60万，每日交易量已从百万笔攀升到千万笔，月处理交易金额数十亿美元，对于金融科技...。
发表在专业问答2022，3，1414，53展示机型信息，品牌型号，小米电视5系统版本，MIUITV3.0无线话筒连接电视需要通过蓝牙连接，总共可以分为三步，下面为无线话筒怎么连接电视的详细步骤做具体说明，无线话筒怎么连接电视1.开启蓝牙配对按下无线话筒的蓝牙配对按键进入蓝牙配对模式；2.打开电视设置在电视上找到设置并点击打开设置界面；...。
发表在极米投影仪2024，1，1014，15极米RS10mini和坚果N1是价格接近的投影仪，都配备有一体式的云台支架，具体极米RS10mini和坚果N1区别有哪些呢，下面就通过详细的参数配置进行对比分析，看看极米RS10mini和坚果N1区别哪款好，哪款性价比更高，更值得用户入手，一、极米RS10mini和坚果N1区别，1.光学参数...。
祝绪丹团体社交平台晒出写真大片，她身穿小白裙念旧又清纯，绑公主发型耳后戴红玫瑰，人比花娇，依托大玩偶可恶又甘甜，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
美国中央司令部外地期间12日称，过去24小时内，美中央司令部部队捣毁了也门胡塞武装管理区三架无人机，总台记者张颖哲，拖鞋军，越战越勇，美西方开始雇佣，中国船员，通过红海海峡！，拖鞋军，对抗加剧，美西方雇佣神秘力量穿越红海近期，美国及其盟友在与伊朗支持的也门胡塞武装的较量中遭遇了一连串的挑战，在持续一个月的空袭下，胡塞武装依然展现出...。
kmplayer和potplayer都是备受用户喜欢的多媒体播放器，它们各自具有共同的特点和长处，如今咱们来比拟一下它们的特点，以便协助你做出选用，kmplayer和potplayer哪个好kmplayer的特点，1、允许多种经常出现的音视频格局，无论是MP4、AVI、MKV还是MP3等，都可以轻松播放，2、提供了丰盛的配置和选项，如...。
花椒直播主播的分红是70%，花椒直播平台的充值逻辑与不时播、映客相似，用户经常使用人民币兑换花椒豆购置礼物打赏，而主播收到的用户打赏会智能转化为花椒币存储到主播账号，主播经常使用花椒币启动提现，而在打赏分红方面，花椒主播打赏分红高达70%，居于行业首位，普通来说，网络主播都是底薪搀扶，提成，结算周期或以平台为准，或以协定结果为准，不要...。
酷壁ColkWallpaper是一款相当优秀的壁纸软件，拥有海量优质的壁纸资源，包括了风景、动漫、人物等多种类型，并且还有各种特效，不仅仅可以下载壁纸还能自己设计壁纸。
虽说游戏市场日新月异，各种游戏如过江之龙层出不穷，但总会出现到广告来打扰，那小编就为你带来免广告游戏软件，它们促使你看到不同主题的美丽场景，听到节奏感十足的配乐，让你犹如参加视听盛宴，它们更为你准备妙趣横生的玩法机制，让你始终保持高昂兴致，玩到乐不思蜀，1、，会说话的金杰猫，这款游戏让你即刻拥有一只智力超群的金杰猫作为宠物，它不仅可以...。
5月24日消息，华米科技发布了截至3月31日的2023年第一季度财报，财报显示，华米科技第一季度营收为6亿元，约合9390万美元，，同比下滑14.8%，归属于华米的净亏损为1.367亿元，而上年同期净亏损8870万元，不按美国通用会计准则，调整后的净亏损为1.127亿元，而上年同期净亏损7570万元，第一季度业绩，设备出货量为350万...。
作为在医疗健康AI领域深耕的企业，数坤科技始终坚持原创不断在行业加速创新，继2021年数坤科技在CMEF会上首次推出，数字人体，1.0版本后，2023年的2.0版本接踵而至，而现在，借助刚刚结束的CMEF盛会的契机，数坤科技宣布将，数字人体，平台升级至3.0版本，研发周期已缩短至一年，这一速度出乎了很多人的意料，却也合乎行业发展的逻辑...。
wxpx8gk3大神级投影控发表于2023，12，06投影仪的拆卸和组装过程需要非常小心和谨慎，因为里面的组件非常精密，以下提供一些一般的步骤，1.首先关闭投影仪并拔掉其电源线，2.把投影仪放在一个干净、平坦的表面上，3.移除所有的电线和线束，例如HDMI和电源线，4.取下充气筒或平面镜头的外围圆环，5.使用螺丝刀或其他适当的工具拆除...。
每经编辑杜宇外地期间10月8日，美股三大指数群体收涨，道指涨0.3%；纳指下跌259.02点，涨幅1.45%；标普500指数涨0.97%，大型科技股普涨，苹果、微软、特斯拉、Meta、亚马逊涨超1%，半导体、软件运行涨幅居前，博通涨超3%，Arm、AMD涨超1%，石油与自然气、有色金属跌幅居前，咸水河谷、美洲白银公司、力拓、美国铝业公...。
