Transformer能否推理引争议 DeepMind连夜更新论文开源数据集 Transformer真的很强 (transformer架构)
DeepMind闷声干大事，悄悄训练了一个大小只有270M的Transformer模型，居然不需要搜索，就能实现大师级的下棋水平。
这几天的推特因为这篇2月份发布的论文吵得不可开交，DeepMind团队也赶紧放出了更新后的论文版本，开源了有关数据集和代码，对网上的争议做了回应。
最开始，有位网友分享了DeepMind的这项研究，并提出“Transformer也能用于逻辑任务”的观点，没想到却激起了一场关于Transformer能不能推理的争论。
先是顾全全果断转发表示赞同，“这表明Transformer具有推理和规划的能力。”
然而，这一观点很快遭到了激烈反驳，争论的火药味十足。
田渊栋直言，短时策略并不等于推理能力。他认为，“Transformer模型的评估基于闪电战模式（每局限时5-10分钟），这更依赖直觉和战术反应，而非传统的深度搜索和规划。”
田渊栋还指出，闪电战下机器人虽然Elo达2713，但未能展示出超越训练数据的能力。“此外，机器人在短时间内的闪电战Elo分数比人类选手要低，这可能说明它的表现更多依赖于模式匹配，而非真正的推理。”
很多反对者也指出，论文中明确提到，这种模型的表现仍然高度依赖于训练数据和架构规模。归根结底，它只是在进行统计匹配，而非真正的逻辑推理。
也有很多人认为，这实际上只是一种预测。虽然Transformer能够精准地计算和预测下一步行动，这看着像是在推理，但与人类推理并非一回事。
顾全全解释道，“推理的核心在于蕴涵（entailment）。”要进行推理，首先需要识别一组基本的命题或原子公式，然后再通过一系列推理规则来推导出结论。
Transformer实现推理的关键在于它是否能够学习推理规则，这些规则是推理的组成部分，但并不能构成完整的“推理”。
以往的研究表明，Transformer 能够学习各种“算法”或规则，例如线性回归（Linear Regression）、k 最近邻（k-Nearest Neighbors）和贝叶斯网络推理中的 Chow-Liu 算法。
这些算法虽然不是严格意义上的逻辑推理规则，但仍然是一种有逻辑的算法规则。顾全全认为，DeepMind这次的研究恰恰展示了Transformer学习推理规则上的潜力。
不过，他也坦言：“尽管大量实证研究表明Transformer可以有效地学习推理规则，但仍然需要在理论上得到严格证明。”
换句话说，目前我们只能从实验数据上看到模型的表现，而要真正确认Transformer能不能像人类一样推理，还需要更多理论研究。
算法到模型的通用方法
DeepMind这篇论文在推特引发的激烈讨论，不仅限于技术本身。
有位网友在深入研究论文细节后认为，这项研究展示了一个重要突破，即将任意概率算法提炼成神经模型的通用方法。
他还乐观地表示“我们正处于整个计算机科学从图灵机的起源开始重写的边缘。”
Gary Macus对此持怀疑态度，他在与论文作者交流后指出，论文中的Transformer模型虽然在标准国际象棋上取得了成功，但在更复杂的棋盘变体（如Fischer随机象棋）上表现不佳，也无法推广到更大的棋盘（如8x12）。这说明了模型在泛化能力上的局限性。
他还指出，这类模型的优秀表现往往局限于国际象棋这类封闭的环境，在更开放、更复杂的环境中会面临严峻挑战。
也有人不赞同这种说法，认为Gary Macus低估了神经网络的繁华能力。虽然模型的适用性不够广，但这种方法却是可以推广的。像MCTS（蒙特卡洛树搜索）这样的算法也可以被蒸馏成模型，这可能也适用于语言处理。
推特上关于这篇论文的争论愈演愈烈。DeepMind也于10月21日在arxiv上更新了论文，并推出了名为ChessBench的大规模数据集。
ChessBench数据集包含了1000万个国际象棋局面及其走法与价值注释，共计超过150亿个数据点，这些数据全部由最先进的国际象棋引擎Stockfish 16提供。
研究团队还开源了ChessBench数据集、模型权重以及所有训练和评估代码，方便学术界进行下一步研究。
更新的第二版论文里，也提到了“蒸馏”这件事。
研究人员表示，尽管可以通过监督学习将Stockfish的搜索算法的近似版本蒸馏到Transformer中，但完美的蒸馏仍然遥不可及。
这也反映了深度学习领域的一个核心问题：即使模型在某些特定领域（如象棋、围棋）表现出了卓越的性能，但它们仍然依赖于大量计算资源和规则化的训练环境。
像AlphaZero就是依靠强化学习，通过与自己反复对弈，最终超越了传统棋类引擎，一旦应用到更复杂、更少规则约束的环境，也难免暴露出缺乏泛化能力的问题。
DeepMind的这篇论文就提供了一条可行的路。
论文在结尾强调Transformer不应该只是单纯的统计模式识别器，而应该被当作是一种近似通用算法的强大技术。再结合Transformer模型在实验中展示的强泛化能力，也许可以被视作AI模型泛化问题的一种解法。
为什么DeepMind重回棋局研究？
也有网友发问，之前不是已经有模型实现过了大师级的下棋水平吗，为什么DeepMind还要再做一次？
其实在AI行业里早就有了一个共识：所有的应用都应该用AI大模型重做一遍。
因为AI技术的商业化落地始终是个难题，要对准具体的业务肯定是找现成的应用来得快。另外，用大模型重做已有的应用能够进一步挖掘其商业价值，个性化的用户体验能够增加用户粘性抢占更多的市场份额。
在市场的驱动下，微软和谷歌这样的大企业早就付诸行动并且颇有成效了。
微软往Office办公三件套引入了Copilot，实现了从文本生成到流程自动化的全面升级。像普通用户就可以通过提供文字提示或是Word文档让Copilot生成幻灯片，企业用户还可以直接生成一些简单的代码应用。
Google Workspace套件里集成的生成式AI也很实用，用户可以利用智能助手在Google Docs和Gmail中生成邮件、摘要等内容，减少重复劳动大大提高了工作效率。
而且这次研究的重要性不仅仅在于棋类AI的迭代，更在于它为AI推理和学习的未来提供了新方向。
回顾以往的棋类AI研究，博弈树一直是核心工具。
博弈树将每一个棋局状态表示为节点，每下一步棋则从一个节点移动到对应的子节点，通过穷举所有可能的步骤，构建出一个庞大的树状结构。
然而，棋类游戏的复杂性让这种全量搜索变得几乎不可行。
为了解决这个问题，约翰·麦卡锡（John McCarthy）提出了著名的α-β剪枝算法。
这种算法的核心在于，在绘制博弈树的同时进行计算评估，一旦某一分支的结果无法优于已有的最佳结果，就会立即“剪枝”，跳过这个分支的计算。这种方式有效减少了无效计算，大大提升了搜索效率。
1997年，IBM的Deep Blue利用α-β剪枝算法，并结合数百万场棋局的数据支持，成功实现了深度计算。最终，Deep Blue击败了国际象棋世界冠军加里·卡斯帕罗夫。
这是AI第一次在公开比赛中战胜顶级人类棋手，也是博弈树算法与启发式规则结合的巅峰。
2017年，DeepMind发布了AlphaZero，进一步突破了传统的博弈树模型。
与以往AI依赖人类知识库和启发式规则不同，AlphaZero完全抛弃了这些外部支持，仅通过自我对弈和通用强化学习算法，就在短时间内掌握了国际象棋、将棋和围棋的玩法。
这项突破性研究展示了AI自我优化的潜力：无需借助外部知识库，AI也能达到卓越水平。
这一次，DeepMind在棋类AI的探索上更进一步。与AlphaZero相比，Transformer模型不仅抛弃了人类知识库和启发式规则，甚至不再使用任何搜索算法，而是通过监督学习直接从包含1000万场国际象棋比赛的数据集中学习策略。
DeepMind训练了三种规模的Transformer模型，分别为9M、136M和270M参数，并根据预测目标（动作值、状态值或行为克隆）构建了一个预测器。动作值预测器用于生成策略，评估所有合法动作的预测值并选择期望动作值最大的动作。
实验结果显示，最大的270M参数模型在Lichess闪电战中达到了2895 Elo的分数，表明它已经具备了大师级的国际象棋策略。
（动作价值模型与Stockfish 16、Leela Chess Zero的变体、AlphaZero（有无蒙特卡洛树搜索）以及GPT-3.5-turbo-instruct的比较）
相比AlphaZero依赖深度搜索和自我对弈，这个模型的成功之处在于无需借助任何搜索算法，仅仅基于棋盘状态的学习也能达到大师级别的棋艺。并且该模型大幅降低了计算需求——甚至在部分任务中以八倍更少的浮点计算量取得与AlphaZero相当的成绩。
这不仅是技术上的突破，更暗示了Transformer模型在泛化和学习推理规则方面的巨大潜力。
小模型的里程碑
DeepMind这次的研究对LLM尤其是小参数模型来说，同样具有里程碑式的意义。
相信很多人都发现了，现在LLM的研究已经到了一个交叉点。
一部分研究者坚信“大即是好”，致力于开发性能强大的巨型模型；另一部分则选择“小而美”的方向，专注于小参数模型的优化和应用。
像Meta和苹果就是小模型赛道的坚定拥护者。
Meta推出的MobileLLM系列，将模型规模缩小至1B以下，并推出了125M和350M两个版本。
而一直专注于闭源开发的苹果，也在开源领域有所突破，发布了一系列开源模型OpenELM，参数规模集中在270M到3B之间。
270M这个数字是不是很熟悉？正是DeepMind这次使用的Transformer模型参数量。这两家公司都不约而同选择270M，绝非偶然。
与动辄数百亿参数的巨型模型相比，苹果的3B模型在LLM领域已算是“小型”。
然而，对于手机等移动设备而言，3B的模型依然太大。因此，270M成为绝佳选择——既能在移动设备上顺畅运行，又兼顾了模型性能。
类似的趋势也出现在大型模型领域。
很多主流大模型的参数设定为7B、13B或65B，其中7B尤其常见。原因在于7B的模型可以在单卡上部署，大大降低了应用的成本和门槛。
这也表明，无论是大模型还是小模型，研究的核心都在于如何实现商业落地。
行业趋势表明，轻量化正逐渐成为市场主流。相比巨型模型，小模型的优势十分明显：
截至2021年，全球移动设备用户数量已达86亿，超过了地球总人口。如何满足如此庞大的移动用户需求，已经成为各大企业竞争的焦点。
比如，苹果的最新语音助手就内置了270M模型，支持离线语音识别和本地响应。谷歌的TinySpeech也为了能在移动设备上实现更加快速准确的语音识别功能，缩小了参数规模。
OpenAI也推出了ChatGPT Lite版本，在保证准确率的同时，通过减少参数量来降低计算资源的消耗，这使得用户能够在资源有限的设备上，享受到流畅的实时聊天和问答系统交互体验。
在与LLM有关的其他领域，也在积极推动轻量化战略，包括专注于高性能硬件的英伟达。
英伟达新推出的Jetson系列（如Jetson Nano和Jetson Orin Nano）就是专为嵌入式AI系统设计，将强大的算力嵌入体积小、能耗低的设备中，意在推动物联网和边缘设备的发展。
这也说明，小模型并非技术上的妥协，而是商业化的最优选择。未来更多的AI应用将逐步摆脱云端依赖，通过小模型在本地运行，推动“轻量级AI”进入日常生活。
Transformer“拟直觉”：AI是否能模仿人类思维？
这项研究还引发了一个有趣的哲学问题：AI是否正在向“直觉型思维”迈进？
传统的AI系统依赖于穷举式搜索和策略规划，但人类大师的棋艺往往依赖直觉与经验，而非纯粹的计算。
在闪电战模式中，DeepMind的模型能够在5-10分钟内完成棋局，依靠的是快速判断而非传统的穷举式搜索，这种决策模式看起来和人类的直觉非常相似。
但AI的策略始终还是来自对大量数据的学习，这和人类的“下意识反应”存在本质区别。AI的所谓直觉，更像是通过模式识别模拟人类的行为，不能真正等同于“理解”。
这种对人类思维的模拟行为也常见于其他AI领域。
拿下诺贝尔奖的AlphaFold就利用了生物序列与结构之间的复杂关系，模拟生物学家的推理过程，从而快速、准确地预测蛋白质结构。
英伟达用于训练和模拟机器人行为的Isaac Sim仿真平台，也是通过模拟真实世界中的物理环境，允许AI学习如何在动态环境中做出决策，类似于人类在复杂环境中的反应方式。
遗憾的是这些表现依然是基于训练数据，而非真正的认知理解。
DeepMind的Transformer模型展示了AI领域的一个重要趋势：从大模型走向轻量化、从搜索算法转向直接推理。在未来的AI应用中，效率与规模的平衡将是关键。Transformer的成功不仅改变了我们对AI的认知，也为AI如何在复杂环境中进行推理提供了新的思路。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/37fb07e92d45dd427086.html
台州琪盛电子有限公司专业主营:电源老化设备,电源老化车,电源老化架,电源老化房,电源老化测试架,服务热线:0576-88709900赵小姐13355869832林先生15967662738
杭州网是杭州地区唯一经国务院新闻办批准的地方新闻门户网站，由杭州日报报业集团下属的杭州网络传媒有限公司运营。为杭州及周边人群提供新闻、资讯、互动、生活服务等多种网络服务。
上海嘉春装饰设计工程有限公司
盛世云仓(400-998-0273)是一家专注于电商平台后期仓储-包装-配送-代收货款等一体化服务的第三方仓储物流企业，北京、上海、广州三大云仓支持，一站式解决电商仓储外包+物流运输各环节需求，致力于为淘宝、天猫、京东、阿里巴巴、微商、网店、拼多多等电商企业解决仓储配送末端问题，并为客户提供各行业个性化需求服务，最大限度的为客户降低仓储物流供应链成本，减轻库存不准以及人员管理压力，盛世云仓期待与您携手共赢。
蓝鑫御网络科技有限公司提供优质的软件，方便用户的生活、工作。
云杰通信是专业SD-WAN解决方案服务商,提供高性能sdwan异地组网服务与海外网络加速线路,致力于为国内政企单位提供灵活可靠的端到端专线网络连接服务,打造安全稳定的跨境办公网络环境,解决异地组网及海外互联网互通难题.热线电话:136-3177-9516.
总部设立于北京，作为专业的商业地产运营商，专注于全价值链过程管理，旨在为委托方提供全方位资产管理服务，通过专业化、高效率的商业资产管理，不断提升商业资产价值。
安团是为业主打造的线下、线上的团购平台，找效果图，看样板房，找设计师、找水电工、泥瓦工、木工等，买装修材料、家具电器，一站式购齐，家庭装修就上安团
朔州科技网是一个集家电科技、手机通讯、科技数码、人工智能、智慧交通、智慧生活、智能家居以及大数据等多个领域于一体的综合性科技信息平台。它致力于为广大用户提供最新、最全面的科技资讯。
南京睿杰思达信息技术有限公司是以视频为核心的物联网解决方案提供商，面向国内广 大用户提供综合安防、智慧业务与大数据服务，并提供与行业相适应的视频接入产品开发、视频传输产品开发、系 统集成、环境监测等服务；公司拥有多项发明专利和软件著作权，凭借高品质的产品和优质的服务，睿杰思达得到 了广大用户的一致好评。
凡花智能,ip运营,动作捕捉技术,三维技术
林竹青律师毕业于甘肃政法学院法律系，法学学士学位。自执业以来办理过无数大型民商案件，主攻房地产、公司及国际业务领域，熟悉房地产开发，融资、并购等房地产法律、法规和实务操作，能提供全方位的房地产法律服务。林律师在执业过程中不断地完善自身修养，深知做律师的本质是做人，信奉“海之涵，山之立”的为人准则。咨询热线：13893692248
移动火柴的游戏有哪些备受玩家的关注，且大多数移动火柴的游戏属于解密和益智类，相信市面上有许多这样的游戏，大家也见识过不少，那么有哪些移动火柴的游戏值得大家下载呢，这些游戏不仅可以开拓玩家的思维，还可以给生活带来无限的乐趣，以下便是小编带来的游戏推荐，希望这些丰富的游戏会给你们带来精彩，此款游戏提供了多个不一样的关卡，且适合各个年龄段的...。
在大部分人的主观印象里，咸鱼就是一个二手交易平台，过去我也一度这样认为，直到大一的时候，在某大佬云集的群，大佬们分享通过咸鱼卖了多少人民币，彻底勾起了我的好奇心，于是，下载了咸鱼，从此打开了新世界的大门，起初，咸鱼也是一些很正经的二手商品，后来我尝试用他搜索了一些，不正经，的内容，现在，我的咸鱼再刷的时候，五花八门什么都有，有陪聊天的...。
雷锋网，医健AI掘金志，消息，中华医学会放射学分会第十六届委员会选举成立大会于9月26日在北京召开，来自全国各地的放射医师代表相聚北京，中华医学会放射学分会是中国医学影像学界规模最大、影响力最高、最具活力的专业学术组织，由以刘玉清院士，金征宇教授和刘士远教授等众多国内外著名教授、专家为核心的学科带头人团队和在全国各级医疗机构临床一线专...。
独家获悉，近期，AWS大中华区核心高管发生变动，负责13家头部大客户，即TopAcct部门负责人梁岩，L8，离职，并已跳槽至微软云企业客户部门，其系统职称显示为，EnterpriseCommercialLead，据悉，该职位在微软中国副总裁、企业商用事业部总经理袁欣所管团队内，目前，微软云中国高层的基本架构是，一号位侯阳之下分设...。
发表在综合交流大区2018，12，2113，25有到了周五，小编送福利的时间了~~再次之前我们先看看这周投影行业有哪些大事发生~~，文末福利评论得T币，投影网评测1、坚果J7智能微投体验评测，卧室里的大屏电影院作者，@来的都是客随着生活水平的提高，人们对观影的需求也在提高，传统的电视早已不能满足人们对大屏的追求，智能投影逐渐成为观影的...。
发表在专业问答2024，11，2515，56展示机型信息，品牌型号，当贝F7Pro系统版本，当贝OS5.0投影仪外接音箱设置可以通过有线连接或者蓝牙连接两种方式实现，下面为投影仪如何外接音箱设置的详细步骤做具体说明，投影仪如何外接音箱设置方法一，有线连接1.连接投影音响通过音频线连接投影仪和音响的音频接口；2.打开投影设置打开投影设置...。
在闲鱼以7500元多少钱卖给老客户一个出口大型投影机灯泡，实践市场多少钱一两万，，运到北京灯泡的灯芯，灯杯灯镜面，齐全碎了，只剩一个空铁壳，因此曾经是齐全报废形态，之后按规则提交了买卖多少钱证实，后续顺丰就以各种理由来尴尬，以此让我接受他们的高价抵偿打算，比如让我把灯泡发去厂家，让厂家给出检测报告，或维......。
1、先登上咱们的QQ号，在咱们的qq的主界面左上角的头像的边上有一个五星一样的图案，这个图案代表的就是空间，点击这个图案就可以进入到qq空间，2、也可以在qq主界面检查朋友消息时，经过朋友头像旁边的空间标记极速进入到空间里，3、经过阅读器咱们也可以登录咱们的QQ空间，先关上咱们的网页，输入QQ空间而后点击搜查，在搜查结果中，随意选用一...。
好友，你好，你的签名设计如下，求收费艺术签名设计艺术签名，又称，签名设计，，即对团体姓名的赞美、艺术化，它不是今人的发明，古已有之，咱们的先人称其为，花押，相似于，花押，，另有，画押，、，签押，、，签字，、，署名，、，签名，、，署押，等多种称法，这些称法意思迥然不同，它们都有示意认可、担任和示信于人的作用，于是就变得含糊起来，往往混...。
人民须要这样的教育家⑧，又一年绿树荫浓、鸣蝉声声，任继周迎来了人生中第100个夏天，虽然双眼视力有限，他依然坚持每天任务5个小时，他还有昼思夜梦的事业尚未实现，还有念兹在兹的草业后学挂在心上，总想着再做点什么，任继周，中国工程院院士，兰州大学草地农业科技学院声誉院长、传授，他树立了现代草业迷信的实践与方法论，创立了草业迷信的学科框架...。
KeePassXC是一个免费的密码管理器，它是KeePass的一个分支，功能增强了不少，拥有历史记录功能，自动清除剪切板等多种功能，绝对是一款非常好用的密码管理器。
OperaOne浏览器是由老牌浏览器开发商OperaSoftware推出的全新浏览器，将替代当前用于Windows、macOS和Linux的桌面Opera。
初做网站的人很容易犯的最大错误之一是，脑袋一拍就贸然进入某一个领域，跳过竞争研究，没规划好目标关键词就开始做网站，这样做常常导致两个结果，一是，自己想做的关键词排名怎么也上不去，二是，自己认为不错的关键词，排名到了第一也没什么流量，进行竞争研究，确定适当的关键词是SEO的第一步，而且是必不可少的一步，竞争研究包括关键词研究及现有网站评...。
2月17日，信息流内容行业一天内发生了三个小变化，今日头条针对万粉作者开通微头条收益功能，今日头条邀请部分创作者入驻字节跳动星图平台，此前，星图平台仅向抖音、西瓜视频、火山抖音版开放，百度邀请部分头部作者开通，百度小店，，为电商带货搭建商业环境，三者指向一致，头条号、百家号都在试图使内容更大程度地商业化，丰富内容变现体系，更为重要的，...。
余承东，华为鸿蒙系统基本准备就绪，手机或明年发布华为终端CEO余承东在IFA展会期间接受媒体采访时表示，麒麟处理器目前依然只供他们自己使用，但是华为在考虑对外销售，至于华为手机是否会使用鸿蒙系统，余承东指出，，事实上我们的鸿蒙系统已经基本准备就绪，但我们不会先去使用它，因为我们还考虑到相关决定和合作，如果我们的手机继续不被允许使用谷歌...。
雷锋网AI科技评论按，本文作者张拳石，上海交通大学副教授，研究方向为机器学习、计算机视觉，本文首发于知乎，雷锋网AI科技评论获其授权转载，以下为正文内容，本来想把题目取为，从炼丹到化学，，但是这样的题目太言过其实，远不是近期可以做到的，学术研究需要严谨，但是，寻找适当的数学工具去建模深度神经网络表达能力和训练能力，将基于经验主义的调参...。
随着全球网络向软件定义的方向转变，边缘计算正改编着各行各业，基于边缘计算的重要性越来越高，英特尔在2022年2月28日的巴塞罗那世界移动通信大会上发布了新的可编程硬件和开放软件，英特尔发布了一些列关于边缘计算和软件定义网络的成果，新一代英特尔至强可扩展处理器SapphireRapids架构；为边缘计算设计的英特尔至强D系列处理器；经过...。
