Codex 神经网络 推开高等数学世界大门 PNAS最新研究 81%解题率
近日，一项新研究发布于PNAS，再次刷新了神经网络的能力。这次神经网络被用来解决了高等数学题，而且还是麻省理工数学课程难度的数学题！
在这项新研究中，研究团队证明了 openAI 的 Codex 模型可以进行程序合成从而解决大规模的数学问题，并通过小样本学习自动解决数据集中 81%的数学课程问题，并且 Codex 在这些任务的表现上达到了人类水平。
这项研究的出现，颠覆了人们普遍认为神经网络无法解决高等数学问题的共识。研究团队指出，Codex 之所以能做到实现这样的能力，正是因为团队进行了一大创新，过去那些不成功的研究只使用了基于文本的预训练，而此次现身的 Codex 神经网络不仅要基于文本进行预训练，并且还对代码进行了微调。
研究的问题数据集选用来自 MIT 的六门数学课程和哥伦比亚大学的一门数学课程，从七门课程中随机抽取 25 个问题：MIT的单变量微积分、多变量微积分、微分方程、概率与统计概论、线性代数和 计算机科学数学和哥伦比亚大学的 COMS3251 计算线性代数。
同时，研究团队使用了一个用于评估数学推理的最新高级数学问题基准 MATH，用 MATH 来检测OpenAI Codex 的能力，MATH 从6大数学板块：初级代数，代数，计数和概率，中级代数，数论，和初级微积分中各抽取15个问题。
研究显示，Codex 解决了问题数据集和 MATH 数据集中的 265 个问题，其中有 213 个是自动解决的。
在 Transformer 发布后，基于 Transformer 的语言模型在各种自然语言处理 (NLP) 任务，包括在零样本和少样本语言任务中取得了巨大成功。但是因为 Transformer 仅在文本上进行了预训练，所以这些模型基本上不能解决数学问题，GPT-3就是一个典型例子。
后来，通过小样本学习（few-shot learning）和思维链 (Chain-of-thought， CoT) 提示，GPT-3 的数学推理能力得到了提高；然而，在没有代码的情况下，即便有小样本学习和 CoT 提示， GPT-3 在大学水平数学问题和 MATH 基准测试中仍然无能为力。
过去关于解数学题的研究，可能在相对简单的数学水平上有一定成绩。举个例子，基于协同训练输出来验证或预测表达式树的技术，比如MAWPS 和 Math23k，能够以超过 81% 的准确率解决小学级别的数学问题，但是其不能解决高中、奥林匹克数学或大学难度的课程。协同训练与图神经网络 (GNN) 相结合以预测算术表达式树，能够以高达 95% 的准确率解决机器学习中的大学水平问题。但是这项工作也仅限于数字答案，并且产生了过拟合，不能推广到其他课程。
就是，不仅对Codex 这种Transformer 模型进行了文本上的预训练，还在代码上进行了微调，使得其可以生成大规模解决数学问题的程序。
研究团队从数据集中随机选择不需要输入图像或证明的问题样本来进行测试。其中，仅对文本进行预训练的语言模型 (GPT-3 text-davinci-002) 仅自动解决了课程问题中的18%和 MATH基准测试问题中的25.5%。
相比之下，使用零样本学习和对文本进行预训练并在代码上进行微调的神经网络（OpenAI Codex code-davinci-002）合成的程序可以自动解决课程问题中的 71%和 MATH 基准测试问题中的72.2%。
而使用相同的神经网络 Codex 再加上少样本学习，便可自动解决课程中81%的问题和 MATH 基准测试中81.1%的问题。而其余模型无法自动解决的19%的课程问题和18.9%的MATH基准问题，最后通过手动提示解决。
小样本学习方式的补充，则是这项研究的 。从上图中可以看出，当零样本学习无法解答问题时，便会使用（问题，代码）对（pair）执行小样本学习：
1） 使用 OpenAI 的 text-similarity-babbage-001 嵌入引擎嵌入所有问题；
2） 使用嵌入的余弦相似度从其课程中计算与未解决问题最相似的已解决问题；
3） 将最相似的问题及其相应的代码作为小样本问题的示例。
图注：4种方式的自动解题率对比
上图分别是Codex的零样本学习、小样本学习和GPT-3的零样本学习、小样本学习4种方式的自动解题率对比。图上可以看出，橙色条状所代表的小样本学习 Codex 在自动解题率上的优秀表现，基本上在每个数学领域上的表现都强于其他3种方式。
，便是提供了一条解决数学问题和解释为何如此解答的管道，下图展示了MIT 5门数学课程中管道的执行流程。
以 18.01 单变量微积分问题为例，给定一个问题和自动生成的前缀“使用 SymPy”，Codex 被提示并输出一个程序。运行程序会产生正确答案的方程式。然后，程序会自动提示再次输入 Codex，从而生成生成的代码解释。
除了解决数学问题和解释答案，Codex 也被用于为每门课程生成新问题。
为了评估生成的问题水平，团队在参加过这些课程或者同水平课程的MIT学生中做了调查，主要是比较机器生成的问题和人工编写问题的质量和难度。
在MIT的6门课程中，每门选择5个人工编写问题和5个模型生成问题混合起来并且随机呈现。对于 60 个问题中的每一个问题，参与调查的学生都需要回答 3 个调查问题：
1）你认为这个问题是人工编写的还是机器生成的？
2）你认为这个问题适合还是不适合特定课程？
3 ) 在 1（最简单）和 5（最难）之间，你认为这个问题的难度级别是多少？
在收回的问卷中，学生调查结果总结如下：
机器生成的问题已经能让学生无法辨别，说明Codex 在生成新内容方面已达到了人类的表现水平。
但是，该模型也有无法解决的问题，比如，如果问题以图像或其他非文本形式出现，它就无法回答；带有需要证明的解决方案的问题，或者计算上难以解决的问题，比如分解非常大的素数，该模型也无法解决。不过，最后一种问题也不应出现在任何数学课程作业中，因为就算是真人学生也没法回答。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/f1fe3d3cfd53131e9c24.html
盛世收藏网论坛是收藏行业内潜力满满的Web2.0互动交流平台。丰富高质的论坛内容和精彩不断的定期活动，得到了众网友的认同，励志成为业界领先的专业的论坛。盛世收藏网
豆果美食为华人美食菜谱社区，提供各种美食、菜谱大全、食谱大全、精选的家常菜谱大全，用户通过图文形式记录生活的点滴，社区每天产生数万次的笔记曝光，内容覆盖时尚、护肤、美食、旅行、影视、读书、健身等各个生活方式领域。与千万会员一同分享的人生！
西安方元明是一家从事大载荷电动缸,野外电动缸,调平,千斤顶,六自由度用电动缸,垂直式电动尾板的研发、生产、销售于一体的企业。
软件下载站分享,win7系统下载,Win10系统下载,Win11系统下载,软件下载,官方软件,国外软件，桌面软件，提供装机必备软件下载，电脑重装系统的正版软件下载站。
华夏视窗网提供海量优质的范文、经验、百科、常识、知识、问答供大家学习和了解。
东莞市创音电声科技有限公司成立于2005年，专注电声配件领域17年,年产喇叭6000万只，耳套3000万只，为中、高端耳机提供合适的喇叭、耳套、头带_电子电工
世纪利德
云表是面向企业管理的无代码开发平台，不需要代码就能开发WMS仓库管理系统，CRM，OA，进销存，ERP系统等丰富的管理软件。
龙迅会员管理系统2009年推向市场，包括美业管理，会员管理，马场预约管理，微商城，小程序商城，大闸蟹提货系统，自助提货系统，提货系统，提货软件，微信公众号提货系统，二维码提货系统，卡券提货系统，另外还提供免费设计提货卡，二维码提货券设计印刷。
律影-影视传媒文化娱乐随身律师，为影视行业提供影视合同法律服务、影视融资法律服务、IP版权法律服务，知识产权法律服务，影视著作权纠纷法律服务，同时提供影视公司法律顾问和影视行业个人法律顾问服务。是影视行业随身律师
企鹅码一物一码全生态平台-专注研发防伪,二维码营销,防窜货追溯,产品溯源领域的企业级服务系统
济南威龙自动化控制系统有限公司
在久远的历史长河中发生过很多经典的战役和事件，因为距离现在时间比较久远，所以玩家只能通过一些记录接触到曾经的历史时代，为了能让玩家更了解这些历史，下面带来好玩的历史游戏盘点，每一个游戏里都会充斥着大量的历史元素，假如想了解历史的话，那下面的这些内容是大家绝对都不能错过的，每个游戏都有非常浓厚的历史设定，1、，三国，谋定天下，三国谋定天...。
去年7月，国务院印发了我国第一个人工智能规划，新一代人工智能发展规划，，力争到2030年，中国将成为世界主要人工智能创新中心！核心技术的屡获突破，让人工智能早已不再像从前那般神秘，正在各个行业产业中发挥着重大的影响，对于金融领域更是带来颠覆式的变革，4月26日，28日，第五届，4.29首都网络安全日，在北京展览馆举办，蚂蚁金服集团副总...。
泰山高峰论坛，研讨人工智能在职务犯罪评估中的应用雷锋网消息，由山东省泰安市检察技术研究所、中国人民大学新闻与社会发展研究中心发起主办的首届，泰山高峰论坛，9月1日，2日在山东泰安召开，会议以，人工智能在职务犯罪评估与预防中的应用，主题的一次科技信息化盛会，参会嘉宾围绕，人工智能，、，大数据，、，智慧检务，等问题进行了深入激烈的交流，...。
在孩子的成长过程中，父母会给孩子买各种各样的玩具，童车几乎每个孩子都有，让不少的创业者产生了好感，童车加盟一定要选择光明童车，光明童车会让孩子度过一个愉快的童年，好玩过瘾，外观形象非常的诱惑人，颜色好看，产品质量好，光明童车可以开阔孩子的大脑，锻炼孩子的动手能力，市场的需求量日益增加，发展前景广阔，实力毋庸质疑，投入的费用没有想象当中...。
时代发展迅速，网购的人群越来越多，很多的消费网上购买大家电，以及生活用品或者水果之类的，网购的规模越来越大，这就带动着物流行业的发展，还为物流行业带来了创业机遇，在身边就出现了很多物流公司，其中运立宝物流就是不错的品牌，很多网友就想要加入其中，以抓住创业的商机，那么，运立宝物流如何招商，在哪里加盟，运立宝物流的公司总部在广东佛山，公司...。
11月25日，，第五届中国数字银行论坛，在深圳举办，由中小银行互联网金融，深圳，联盟与，中国银行业，杂志社联合主办，深圳市银行业协会与金融壹账通联合协办，论坛上，近二十位来自政府监管、银行机构、行业协会等专业人士代表，围绕中小银行和大型银行在数字化转型中面临的不同挑战，以及相关的数字人民币背后的本质、未来可能的深刻影响等问题展开了深入...。
近日，天猫精灵全新智能交互平板，哇哦闺蜜机，正式上市，采用4k三分频，涵盖三种配置，售价4999元起，8月5日，阿里巴巴旗下品牌天猫精灵在北京举办高端品牌暨新品发布会，推出全新高端品牌，哇哦，其新晋全球品牌代言人周深也来到现场，携带多款新产品与大家见面，哇哦作为全球通用的感叹词，代表超越国界的惊喜，天猫精灵市场总监严斌表示，以，...。
我于24年7月10日20点成功购置2024周深巡回演唱会南京场门票两张，平台规则购票后48h内可无条件退票，我于7月12日先后12点左右，在免手续费退票期内，先后三次经过截图圈出的退票放开通道动员退票放开，系统弹出退票要素选项，选用团体要素须要退票后，系统均未示意须要填写任何信息，故初次在大麦退票的我以为已成功提交退票放开，然而，在7...。
燃油车目前曾经行至生命周期的末端，面对新动力车型不时攻城拔寨，以及国六b行将推广，燃油车不只面临被代替的危险，庞大的库存压力也只能经过提价促销来减轻，因此进入3月后，我们见到了多款车型大幅提价，触动了整个车圈和二手车市场，接上去我们就来清点其中五款最值得购置的车型吧，凯迪拉克CT6经销商报价，30.07—39.07万作为美系奢侈品牌的...。
四川多地儿科急诊超半数感染肺炎支原体
Proteus中文破解版是一款电路仿真软件，它不仅拥有其他EDA工具软件的通常仿真功能，还能仿真单片机及其外围设备。
重庆分类目录网站将2015年12月共200个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
作为本次，创客马拉松哈工大站，的评委，80后的华强北国际创客中心的总经理，李诺夫已经拥有了十余年的电子制造经验，李诺夫很早就走上了创业的道路，早在04年，他看到了液晶屏的发展潜力和趋势，于是做起了液晶屏的代理商，从而进入了电子行业一直至今，在电子行业摸爬滚打了多年之后，李诺夫已经成为了创新创业综合生态平台的倡导者和实践者，一直在致力于...。
2024年Sora的横空出世，再次将人工智能推向了新高度，全行业都在积极拥抱AIGC，新的AI时代来临，也引出了随之而来的安全问题，时至今日，网络安全已经成了企业的底板工程，离开安全，任何AI技术的产业化落地都缺乏根基，难以走远，安全和AI的关系，二者相互博弈，也在相互成就，正如新华三所说，，安全是保障AIGC的核心基石，AIGC是提...。
8月20日，印象笔记成立八周年之际，印象笔记董事长兼CEO唐毅在媒体沟通会上表示，印象笔记将深耕垂直领域和业务场景，拓展B端市场，并透露目前印象笔记正在进行A股市场IPO的新一轮融资，沟通会上，唐毅详细介绍了印象笔记当前的业务布局，管理个人信息的智能助手——，印象笔记，、针对企业级提高协作效率的团队工具——，印象团队，App、富集高价...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
铃木锋驭好，1、外观设计，铃木锋驭的外观设计愈加时兴、年轻化，前脸局部驳回了愈加繁复、流利的设计，车身线条也十分流利，整车看起来十分动感，而天语SX4的外观设计相对愈加激进、中规中矩，没有太多的亮点，2、经过性，铃木锋驭的离地间隙比天语SX4更高，经过性更好，适宜在不平整的路面上传驶，而天语SX4的离地间隙较低，经过性相对较差，铃木锋...。
