Jurassic (jurassic world)

文章编号:36767 资讯动态 2024-11-30 神经模型 Jurassic X 符号推理

Jurassic-X: 让神经学会符号推理

近期,一家以色列NLP研究机构AI21 Labs开发了一个名叫Jurassic-X的算法系统,它基于该实验室提出来的MRKL(它与miracle谐音)系统。Jurassic-X的前身是对标GPT-3的Jurassic-1,然而却克服了它们不擅于推理、更新昂贵、不能有效处理时序数据等缺点。

Jurassic-X: 让神经学会符号推理



MRKL系统

MRKL的全称是模块化推理、知识和语言系统(Modular Reasoning, Knowledge and Language),它试图将现有的神经网络模型,如大规模语言模型LLM,和外部知识库,以及过去流行的符号专家系统结合在一起,从而来兼顾神经模型和符号推理能力。

这一系统是针对现有的大规模语言模型的诸多缺点进行的改进。在GPT-3以及Jurassic-1等大规模语言模型进行预训练,之后应用在多个下游任务,常常有两种极端的方式:

(1)多个任务直接通过零样本学习的方式进行。这种方式无需更新任何参数,从而保证了多功能性(versatility);

(2)在每个任务上都对于大规模语言模型进行微调。这种方式不仅需要大量的资源,具有很差的迁移性,还会经常导致在一个任务微调完之后,其余任务表现得很差——灾难性遗忘(catastrophic forgetting)的困境。

基于MRKL系统的Jurassic-X则主要借鉴了类似于prompt learning的方式,来冻结大部分模型原有的参数,仅更新一部分任务相关的参数来避免上述问题。之后会对这块的方法有一个初步的介绍。

同时,仅仅依赖神经语言模型,也会有很多本质上的问题:它们对于外部知识无法高效利用,尤其对于一些时序更新的数据,例如新冠疫情最新的数据以及货币汇率等信息,它们的推理能力很弱,例如最简单的算术题(自然语言给出的)有时候都会犯错。

Jurassic-X: 让神经学会符号推理

问题:在最近的一个月里,哪一家清洁能源公司有最大的份额增长?

这是一个组合的“多专家”问题:首先模型会从例如百科库WIKI接口中获取有哪些清洁能源公司,之后它会从日历中获取上个月指的是什么时候,以及从数据库中获取相应的份额增长;之后在汇总了上述信息后,它可以通过一个计算器去计算“最大的增长”,最后通过语言模型来给出答案。

要完成这些目标需要训练离散的专家系统,将他们的接口和神经网络之间进行平滑,并在不同的模块之间去选择等等。一些技术细节可以参考 ,之后会针对其中在下游任务上的训练方式做一个简要的介绍,更详细的技术细节可以参考

财富杂志从商业角度分析了MRKL以及Jurassic-X反映了当代AI的四个趋势: 通用性、基于LLM、混合系统、减少权重训练。




通用性和基于LLM

MRKL致力于仅使用 单一模型 解决各种各样的自然语言任务,而并不是像现阶段很多模型只能解决特定的单一任务,这是朝着通用人工智能的必经之路。例如,一个流畅的机器人对话系统不仅仅能顺畅地完成对话,还可以同时对某些话语进行情感分析。事实上,GPT-3等大规模模型已经显示出它的在多个任务上零样本学习的巨大潜力了,而大规模语言模型预训练,多个任务共享该模型进行微调早已成为研究界熟悉的训练范式了,商业上紧跟其后,也是预料之中。

Jurassic-X: 让神经学会符号推理




混合系统

尽管基于神经模型的方式获得了令人印象深刻的性能,不过GPT-3在涉及到一些哪怕是很简单的推理时也会犯一些低级错误,尤其涉及到比较复杂的语言描述,例如多个数相加;涉及到最新的消息,例如纽约现在的天气。它仅仅从过去训练好的数据中进行推断天气情况,难以迁移到新的场景下,而如果用更新的数据,则需要重新训练模型,而这需要巨大的代价。

Jurassic-X: 让神经学会符号推理

不同专家系统之间的连接

因此MRKL使用了代表当代AI在商业角度下的第三个趋势——使用神经和符号结合的混合系统。MRKL融合了不同的模块,有些模块使用了深度学习,有些则使用符号推理模式的专家系统,例如直接从某些数据知识库中进行检索等模块,来获取更新的信息。

MRKL中一个出色的设计被称作是路由(router)的模块,它可以根据用户的问题匹配一个专家系统:例如如果问题涉及到数学,它会转向一个计算器,如果问题涉及到汇率,它会路由到一个汇率转换器,如果是天气的话,它会转到一个天气网站等等;如果路由对于问题不确定,它会先通过Jurassic-1等语言模型利用上下文推断出应该转向哪个专家模块。




权重更新方式

MRKL还采用了prompt tuning的方式对于模型的下游任务进行更新,如上述,这种方式避免了灾难性遗忘的微调模式以及零样本学习的低性能。与传统的prompt tuning方式相比,Jurassic-X使用了更加精细的设计:(1)依赖于模型输入的prompt学习方式。(2)检索增强的prompt生成方式。(3)递归式地应用冻结了的LM模型。 中做了更加详细的技术介绍,感兴趣的读者可以直接阅读论文。

Jurassic-X: 让神经学会符号推理




应用实例

博客中介绍了几种MRKL的应用场景举例,都是一些值得关注和实用的一些话题,涉及到方方面面可能出现在日常场景中的问题。

用人类语言去阅读和更新数据库

Jurassic-X: 让神经学会符号推理

问题:买玫瑰味的洗发水

Jurassic-X会从人类语言中提取中关键信息,并从商店清单中去检索产品,加入到购物车的数据库中。这在智能助理,电子商务等都有应用前景。

对于当下问题的文本生成

Jurassic-X: 让神经学会符号推理

问题:谁是当下的美国总统

Jurassic-X会融合当下及时更新的外部数据库,例如维基百科去产生更及时的数据。

Jurassic-X: 让神经学会符号推理

问题:公司的655400份份额被94个员工平均分配,每个员工得到多少?

Jurassic-X会通过语言模型提出去关键信息,并且应该去寻找一个“数学专家”,也就是计算器,从而得出正确结果。

Jurassic-X: 让神经学会符号推理

问题:更多的人住在Tel Aviv还是Berlin?

Jurassic会将组合型问题分解为若干子问题:Tel Aviv的人口是多少?Berlin人口是多少?哪个数字更大?等,解决了每个子问题后再把它们汇总在一起。更重要的是,这样也增加了可解释性,说明了模型给出答案的依据。

Jurassic-X: 让神经学会符号推理

问题:100美元可以换多少摩洛哥币?

Jurassic会把语言模型和一些及时更新的知识库融合在一起,从而容易获取到实践性敏感的动态信息。

Jurassic-X: 让神经学会符号推理

问题:克林顿是否曾经当选过美国总统

这里涉及到Clinton的歧义问题,问题的答案取决于哪个Clinton,是Bill Clinton还是他的妻子。Jurassic-X可以做出更加明确、透明的回答,而其他神经模型则不行。




AI21实验室位于以色列的一家自然语言处理的研究机构;它同时也是一个商业机构,旨在将现有的NLP技术快速部署到商业应用中。创始人包括从斯坦福大学退休了的人工智能教授Yoav Shoham;一家自动驾驶公司Mobileye的创始人Amnon Shashua,以及众包平台CrowdX创始人Ori Goshen。这家公司的口号是“重构人们的读写方式,朝向更美好的未来”(reimaging the way people read and write, for the better)。

Jurassic-X: 让神经学会符号推理

Jurassic-X: 让神经学会符号推理

版权文章,未经授权禁止转载。详情见 转载须知 。

Jurassic-X: 让神经学会符号推理


本文地址: https://www.gpxz.com/article/fd29ff6fc9cece404b21.html
全局中部横幅
全局中部横幅
南京水磨石翻新公司

南京得得环境工程公司是一家专业石材翻新、石材结晶、石材返碱处理,大理石抛光、水泥起砂固化处理、水磨石翻新、染色固化地坪,水泥地面打磨的工程公司,电话:18951908373

医用自动洗肠机厂家/广东肠道水疗机多少钱/结肠水疗仪(机)效果/医用透析器复用机系统/透析器自动再处理机系统/佛山市康宇达医疗器械有限公司

康宇达医疗器械(400-886-8873)是一家专业产销优质医用洗肠机.肠道水疗机厂家,广东肠道水疗仪多少钱,结肠途径治疗机怎么样,结肠水疗仪复用机功能,结肠水疗仪复用机效果,医用透析器复用机系统,透析器复用系统系统等高新型医疗器械的民营科技企业,详情请来电咨询

福建红桥创业投资管理有限公司

福建红桥创业投资管理有限公司(简称:红桥创投)创立于2007年8月,由福建亲亲投资有限公司、七匹狼控股集团股份有限公司联合来自深圳在中国创业投资领域有丰富实战经验及优秀投资业绩的资深专业人士发起设立,是一家专注为国内中小企业提供私募股权投资及财务管理顾问服务的专业机构

新开的网页游戏推荐

七七瓜网页游戏大全为您提供最好玩的网页游戏,三国网页游戏,传奇页游,回合制网页游戏,网页游戏开服表,最新网页游戏,高返利网页游戏,网页小游戏,H5游戏,什么网页游戏最好玩等尽在七七瓜网页游戏平台。

装修设计公司

【巨旺装饰-深圳品牌装修设计公司排行榜】专注写办公室装修、厂房装修、餐饮装修、店铺装修、直播间装修、房屋装修等装修装饰工程,装修公司哪家好?上巨旺装修网,免费上门服务,深圳装修公司排名前N位。

环卫绿化洒水车厂家,雾炮车价格,东风洗扫车厂家参数

湖北程力专用车厂家主要生产销售环卫绿化洒水车,雾炮车,洗扫车,吸污车,吸粪车等各类专用车车型,其中有程力东风环卫12吨洒水车,8吨绿化洒水车,国六15方雾炮抑尘车,小型蓝牌吸污车和国六多利卡吸粪车等市政工程车,以及各类多功能洗扫车环卫车型。了解咨询更多车型,参数,配置,图片和价格优惠信息联系程力专用车销售经理。

紫金数码园

北京紫金数码园咨询电话(写字楼顾问)13601309641,地址北京市海淀区中关村南四街, 距离地铁10号线和13号线的知春路站600米,为您提大厦详细信息,包括大厦的地图、简介、 交通位置、出租面积、日租金等。

机上Wi

机上Wi-Fi-中国东方航空

合肥物流公司

叶融物流是提倡优质服务理念的专线物流公司,专注于中港物流领域,以合肥物流、巢湖物流、芜湖物流、马鞍山物流、安庆物流、滁州物流、阜阳物流、六安物流、宿州物流、亳州物流、蚌埠物流、宣城物流为核心,致力于为客户提供优质高效的货物运输服务。

有氧周末

一个用心分享摄影、设计和生活美学的地方

知识星宿

知识星宿是一个专注于字典、词典、成语、英语、诗词名句的网站,汇聚了千年传世之美。在这里,您可以尽情沉浸于中国古代文化的瑰宝中,感受文字的力量和艺术的魅力。无论您是诗词爱好者、文化追寻者还是创作灵感的寻觅者,知识星宿都将为您提供无尽的诗意和灵感。立即点击,探索古人智慧的结晶!

冰岛包车

1900U冰岛旅游网提供冰岛旅游、冰岛包车、冰岛旅游包车、冰岛接机、冰岛包车司导、冰岛地接、冰岛旅行社、冰岛地接社服务,冰岛包车司导都是有多年冰岛当地驾车经验、并且精通多种语言的专业司机,对冰岛的地理气象以及人文习俗都非常熟悉,为游客提供高端冰岛旅行体验。


全局底部横幅