由o1接棒 或是LLM研究最重要的发现 GPT未竟的革命

文章编号:36736 资讯动态 2024-11-30 OpenAI大模型o1LLM人工智能

天下武功唯快不破,但 OpenAI 不走寻常路,新出的 o1 系列宣告天下:

o1 要花更多的时间思考问题,再做出反应,但在复杂推理层面直接窜了几个档位。

在国际数学奥林匹克 (IMO) 资格考试中,GPT-4o 仅正确解决了 13% 的问题,而 o1 得分为 83%。

好家伙,这数学水平,上一次见面还是小学生,现在直接博士毕业了?

OpenAI 也很得意,表示 o1 已经达到AI能力新高度了,所以直接把计数重置到1,开启新的大模型系列 OpenAI o1。

本次 OpenAI o1系列分为三个型号,最强但还未发布的 o1,o1 的预览版 o1-preview,和性价比最高的轻量版 o1-mini

之前的 GPT 系列还被诟病更新“挤牙膏”,没想到 OpenAI 一直都是老样子,不鸣则已一鸣惊人,直接给 AI 界来了个大大大地震。

综合网络对于 o1 的报道和评论,我们注意到几个关键信息:

这可能是Scaling Law提出以来,LLM领域最重要的发现。这一进展的核心是推理时间和参数规模两条曲线的协同作用,而不是单一曲线;

与强化学习的完美结合,可能为我们指明了通往人工通用智能(AGI)的有效路径(此前AI科技评论8月28日曾举办《大模型时代的强化学习》网络研讨会,讨论了强化学习与大模型的结合,感兴趣的朋友点击下方链接进行回看);

o1 并非 GPT-4o 的升级版本,目前仍然无法解决像黎曼假设这样极其复杂或开放的问题,也没能解决幻觉问题。

OpenAI 对大模型的这次重新构想,无疑将对大模型的未来走向和整个AI领域的格局产生深远影响。

OpenAI的又一里程碑

奥特曼表示,o1 是他们迄今为止功能最强大、最一致的模型系列,只是使用的时候要花更多时间(凡尔赛了)。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

如图所示,o1 在绝大多数重推理任务中显著优于 GPT-4o

正在休长假、沉寂了一个月的 OpenAI 的另一位联创 Greg Brockman 洋洋洒洒写了一长段推文,表扬了 o1 的超强性能,并特别指出 o1 是第一个使用强化学习训练的模型,会在回答问题之前进行深入的思考。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

lmsys 也马上在 Chatbot Arena 更新了 o1-preview 和 o1-mini,欢迎大家测试。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

参与研发o1的 Shengjia Zhao 很谦虚地表示,o1 并不是完美的,也不会适合所有事情。不过人们能感受到它潜力无限,并再一次感受到 AGI。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

Jim Fan 认为,o1 透露出的研究进展可能是自 2022 年 OG Chinchilla 缩放定律以来 LLM 研究中最重要的发现。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

他还提到了两篇近期发表的关于 Scaling Law 的论文,并指出 OpenAI 早已意识到这一点,并通过 o1 证实了这些发现。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

大模型+强化学习=AGI?

大模型与强化学习的结合是近几年来的热门研究方向之一。

大模型的泛化能力和背景知识与强化学习的交互学习和任务优化相结合,可以创建出能够更好地适应复杂环境、解决多任务问题、并提供更高效和可解释决策的智能系统。这种互补性使得两者的结合成为推动人工智能发展的重要方向。

o1 大模型的发布,首次证明了语言模型可以进行真正的强化学习。而 OpenAI 的一位研究员说, o1 证明了强化学习才是通往 AGI 道路上的必备要素(RL研究者狂喜)

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

OpenAI 另一位专注推理的研究员也说,通过强化学习,o1 能够在做出反应进行“思考”,让他们不用再受预训练的瓶颈限制,终于可以做扩展推理计算了。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

强化学习和LLM可以说是非常适配了,只不过在 o1 之前还没有人能用 LLM 真正实现强化学习。

之前就有人说,模仿是 LLM 训练的基础,而模仿其实就是强化学习的问题。

DeepMind 的新论文也有提到,与监督学习相比,强化学习可以更好地利用序列结构、在线数据并进一步提取奖励。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

领导 DeepMind 强化学习研究小组的David Silver,也在前段时间的演讲中强调,“需要重新关注强化学习,才能走出 LLM 低谷。”

局限

不过,一众好评声中,也有人指出了 o1 存在的一些问题。

Andrej Karpathy 在测试后发推特说,o1-mini 还是有大模型的老毛病,问它黎曼假设这类复杂问题就偷懒逃避。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

Gary Marcus 认为 o1 并不是通用人工智能(AGI),甚至离 AGI 还很远。

他尖锐地点出了 o1 的八条问题,从多个方面批评了o1模型的细节披露不足、改进不够全面,认为实际测试与宣传间存在差距,并提醒消费者要慎重。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

Hugging Face 的 CEO 也表示,AI 并不是在思考,只是在在“处理”、“运行预测”……和谷歌或者计算机做的事情是一样的。这种技术系统是人类的错误印象,只是廉价的骗术和营销手段,让人误以为它比实际更聪明。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

OpenAI 自己也承认了 o1 的不足。在一些自然语言任务测试中,尤其是写作能力方面,GPT-4o 还是更胜一筹。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

并且,o1 的推理依然存在缺陷,在实现质的提升的同时也没能解决LLM的幻觉问题。

著名程序员、Django Web 框架的联合创建者 Simon Willison 在推特上收集在 GPT-4o 上推理失败,但在 o1 成功的例子,只找到了几个让他满意的案例。他认为从推理来看,o1 并不是 GPT-4o 的升级版。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

他在博客中写道,o1 并不是简单的 GPT-4o 升级版,而是通过在成本和性能方面引入重大权衡,换取了更进一步的推理能力。

很明显, o1 和 GPT-4o 代表大模型的两个不同方向 。OpenAI 也提到,以后会分别研发升级两个模型,这意味着,过去适用于 GPT-4o 的 Prompt 技巧未必同样适用于 o1。

实测

那么,o1 的表现到底怎么样呢?

在 Toqan 的排行榜中,我们可以看到 OpenAI O1 模型在 ProLLM StackUnseen 基准测试中表现出来的水平,比 SOTA 要高出 20%。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

elvis 做了详细测试,他提到 o1-preview 能够一次性解决很多难以回答的问题,包括很多当前大型语言模型(LLMs)难以处理的数学问题。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

他的完整测试视频已经上传YouTube,可以点击以下链接观看:

OpenAI 首席研究官 Bob McGrew 在The Verge的采访中说,“从根本上说,o1 是一种新的模型模式,能够解决真正困难的问题,从而达到与人类相似的智能水平。”

o1-preview和o1 mini已经带给我们这么多惊喜,不敢想最后发布的o1到底能有多强悍,让我们拭目以待。

原创文章,未经授权禁止转载。详情见 转载须知 。

GPT未竟的革命,由o1接棒:或是LLM研究最重要的发现

全局中部横幅
天下足球

《天下足球》是CCTV-5体育频道一个以报道国际足坛最新赛事和新闻为主的栏目。

第一院线

《第一院线》作为影视行业的科技新媒体,自创办以来,我们致力于为大中华区及亚洲和世界电影、电视、视频等相关行业,提供客观、公证、高效、专业的内容和数据服务,传递正能量的行业价值观和新经济、新业态、新商业的发展理念,全心全意为行业和用户服务。

苏州知己物业清洁服务有限公司

苏州知己清洁是一家专业从事驻场保洁托管外包、无尘室清洁、开荒保洁为主营业务的保洁公司;目前覆盖范围主要有苏州、昆山、张家港、太仓、吴江等拥有多个分支机构和办事处。公司的业务还包括:长期定期保洁,办公室保洁,洁净室等级保洁,防静电打蜡,物业保洁服务,日常保洁外包,工厂保洁,地面清洗打蜡,地毯清洗等。公司拥有的技术、设备、管理和清洁团队,丰富的经验和技术实力,为客户提供的清洁及解决方案,欢迎社会各界朋友光临本公司或电话业务洽谈

山西3A认证

山西AAA企业信用评级网从事企业认证咨询、行业荣誉证书办理,认证包含企业AAA信用等级证书、清洗环卫资质、服务认证等认证产品。出证快、价格优。TEL:0351-7637101

联系方式

德国狼牌内窥镜联系方式

博云

博云专注为企业级客户提供自主可控,以容器和云资源调度技术为基础的云操作系统相关的基础设施软件、解决方案与技术服务,包括人工智能基础设施产品族、容器云产品族、云资源管理系统、开发支撑软件DevOps四大系列产品与服务。

江苏PVC瓦,塑钢瓦厂家

常州市明源建材有限公司专业生产PVC瓦,PVC瓦又叫做塑钢瓦、塑料瓦。是以聚氯乙烯(PVC)为主要原材料生产的制品,瓦型有840、900、920、980、1050等,产品具有耐酸碱和阻燃等优点,广泛用于各大厂房和车间

合肥网站建设

吉尔科技:13721062013(手机微信同号),帮助您实现互联网化转型,系统定制开发!合肥网站建设,合肥app开发,合肥网站定制,合肥网络公司,合肥众筹系统开发,合肥素材网站开发,合肥电商平台开,合肥直销系统开发,合肥营销型网站建设;同时针对企业的不同需求,提供个性定制服务。

禄泉珠宝

专业从事珠宝的销售

全局底部横幅