字节完成系统性实验证明 类Sora模型到底懂不懂物理 (字节 系统部)

文章编号:36659 资讯动态 2024-11-30 AI Sora 大模型

Sora爆火以来,“视频生成模型到底懂不懂物理规律”受到热议,但业界一直未有研究证实。近日,字节跳动豆包大模型团队公布最新论文,研究历时8个月,围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,但暂时还无法真正理解物理规律,做到“举一反三”。

图灵奖得主、Meta首席AI科学家杨立昆点赞并转发了该研究,表示“结论不令人意外,但很高兴终于有人做了这个尝试!”

openAI发布Sora模型以来,很多视频生成模型都会强调其生成结果对物理规律的遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。

历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。 类Sora模型到底懂不懂物理?字节系统性实验证明

实验中设计的不同运动场景

豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。

以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。

然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。

通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”

不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。

据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。

了解到,今年以来,字节跳动在大模型领域不断加大投入。不久前,字节豆包大模型团队还发起Top Seed人才计划,在全球范围持续招募大语言模型、视觉、语音、大模型基座等领域的顶尖研究人才,提供充分的创新探索空间。

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/73bba79301803d464c29.html
全局中部横幅
全局中部横幅
360官网

360安全卫士最新版提供木马专杀,360安全卫士极速版,病毒查杀,系统修复,文档解密,挖矿木马防护,垃圾清理,文件恢复,驱动下载,服务器防护,系统补丁更新,网络测速,软件管理

上海展台设计

上海逊达建筑设计工程有限公司专业从事上海展台设计,上海展台搭建,上海活动策划,上海会议策划以及布置等业务,我司拥有丰富的展会策划经验,透明的收费,专业的服务团队,如有展台设计,展台搭建,活动策划,会议策划需求,请致电400-088-2551.

首页

嘻柚首页描述测试

良良

南昌良良实业有限公司成立于2002年,经过18年发展,已成为一家集科技研发、原创设计、智能制造、全渠道行销为一体的特色现象级国货母婴品牌。

绿联NAS私有云官网

绿联NAS私有云,搭载自研的UGOSPro系统,倾力打造更懂用户的数据中心AINAS产品。绿联NAS支持大容量存储池,绿联云自带高速远程访问,满足高效同步备份传输需求。丰富的应用下载,涵盖影视中心,相册备份,音乐库,Docker,迅雷,在线协同办公等应用一应俱全

苏州大森塑胶工业有限公司

苏州大森塑胶工业有限公司是物流塑料单元化集装器具专业制造商。致力于可循环物流包装产品的开发设计和营销;将可循环物料包装系统替代一次性包装;在仓库储存、产品分配和循环运输系统方面向国内外客户提供高品质、高环保的产品和服务;在塑料物流周转用品的研究和实施方面趋于国内领先,同时为特殊行业、特殊用户提供革新设计方案。

企业网站建设

析客网络【高新企业,创于2008】专业提供企业网站建设、OA系统定制、ERP系统开发、公众号/小程序商城开发、行业解决方案等;拥有自主知识产权,以更高效的定制服务,助力企业数字化发展。

我要学习网

我要学习网,精心为新时代的青年朋友准备的学习导航;收集各种高质量的学习网站、工具和软件等,免费分享给大家,请记住我们:我要学习网导航!

会计800

本站是一个高端大气上档次的网站

好软下载网

好软下载网,致力于为移动端手机用户提供免费好用的安卓、苹果手机游戏与应用软件下载,海量热门游戏,精品冷门小众作品随时下载体验,还包含最新游戏资讯,游戏行业新动态,软件教程,游戏软件排行榜前十名,热门游戏标签合集等内容。

游戏盒子

IEBox游戏盒子致力于打造国内全面专业的游戏资讯网站,有策略动作、益智冒险、格斗射击、角色扮演、休闲竞技等资讯频道,是玩家首选的游戏资讯网站。


全局底部横幅