Jurassic (jurassic world)

文章编号:36767 资讯动态 2024-11-30 神经模型 Jurassic X 符号推理

Jurassic-X: 让神经模型学会符号推理

近期,一家以色列NLP研究机构AI21 Labs开发了一个名叫Jurassic-X的算法系统,它基于该实验室提出来的MRKL(它与miracle谐音)系统。Jurassic-X的前身是对标GPT-3的Jurassic-1,然而却克服了它们不擅于推理、更新昂贵、不能有效处理时序数据等缺点。

Jurassic-X: 让神经模型学会符号推理



MRKL系统

MRKL的全称是模块化推理、知识和语言系统(Modular Reasoning, Knowledge and Language),它试图将现有的神经网络模型,如大规模语言模型LLM,和外部知识库,以及过去流行的符号专家系统结合在一起,从而来兼顾神经模型和符号推理能力。

这一系统是针对现有的大规模语言模型的诸多缺点进行的改进。在GPT-3以及Jurassic-1等大规模语言模型进行预训练,之后应用在多个下游任务,常常有两种极端的方式:

(1)多个任务直接通过零样本学习的方式进行。这种方式无需更新任何参数,从而保证了多功能性(veRSAtility);

(2)在每个任务上都对于大规模语言模型进行微调。这种方式不仅需要大量的资源,具有很差的迁移性,还会经常导致在一个任务微调完之后,其余任务表现得很差——灾难性遗忘(catastrophic forgetting)的困境。

基于MRKL系统的Jurassic-X则主要借鉴了类似于prompt learning的方式,来冻结大部分模型原有的参数,仅更新一部分任务相关的参数来避免上述问题。之后会对这块的方法有一个初步的介绍。

同时,仅仅依赖神经语言模型,也会有很多本质上的问题:它们对于外部知识无法高效利用,尤其对于一些时序更新的数据,例如新冠疫情最新的数据以及货币汇率等信息,它们的推理能力很弱,例如最简单的算术题(自然语言给出的)有时候都会犯错。

Jurassic-X: 让神经模型学会符号推理

问题:在最近的一个月里,哪一家清洁能源公司有最大的份额增长?

这是一个组合的“多专家”问题:首先模型会从例如百科库WIKI接口中获取有哪些清洁能源公司,之后它会从日历中获取上个月指的是什么时候,以及从数据库中获取相应的份额增长;之后在汇总了上述信息后,它可以通过一个计算器去计算“最大的增长”,最后通过语言模型来给出答案。

要完成这些目标需要训练离散的专家系统,将他们的接口和神经网络之间进行平滑,并在不同的模块之间去选择等等。一些技术细节可以参考 ,之后会针对其中在下游任务上的训练方式做一个简要的介绍,更详细的技术细节可以参考

财富杂志从商业角度分析了MRKL以及Jurassic-X反映了当代AI的四个趋势: 通用性、基于LLM、混合系统、减少权重训练。




通用性和基于LLM

MRKL致力于仅使用 单一模型 解决各种各样的自然语言任务,而并不是像现阶段很多模型只能解决特定的单一任务,这是朝着通用人工智能的必经之路。例如,一个流畅的机器人对话系统不仅仅能顺畅地完成对话,还可以同时对某些话语进行情感分析。事实上,GPT-3等大规模模型已经显示出它的在多个任务上零样本学习的巨大潜力了,而大规模语言模型预训练,多个任务共享该模型进行微调早已成为研究界熟悉的训练范式了,商业上紧跟其后,也是预料之中。

Jurassic-X: 让神经模型学会符号推理




混合系统

尽管基于神经模型的方式获得了令人印象深刻的性能,不过GPT-3在涉及到一些哪怕是很简单的推理时也会犯一些低级错误,尤其涉及到比较复杂的语言描述,例如多个数相加;涉及到最新的消息,例如纽约现在的天气。它仅仅从过去训练好的数据中进行推断天气情况,难以迁移到新的场景下,而如果用更新的数据,则需要重新训练模型,而这需要巨大的代价。

Jurassic-X: 让神经模型学会符号推理

不同专家系统之间的连接

因此MRKL使用了代表当代AI在商业角度下的第三个趋势——使用神经和符号结合的混合系统。MRKL融合了不同的模块,有些模块使用了深度学习,有些则使用符号推理模式的专家系统,例如直接从某些数据知识库中进行检索等模块,来获取更新的信息。

MRKL中一个出色的设计被称作是路由(router)的模块,它可以根据用户的问题匹配一个专家系统:例如如果问题涉及到数学,它会转向一个计算器,如果问题涉及到汇率,它会路由到一个汇率转换器,如果是天气的话,它会转到一个天气网站等等;如果路由对于问题不确定,它会先通过Jurassic-1等语言模型利用上下文推断出应该转向哪个专家模块。




权重更新方式

MRKL还采用了prompt tuning的方式对于模型的下游任务进行更新,如上述,这种方式避免了灾难性遗忘的微调模式以及零样本学习的低性能。与传统的prompt tuning方式相比,Jurassic-X使用了更加精细的设计:(1)依赖于模型输入的prompt学习方式。(2)检索增强的prompt生成方式。(3)递归式地应用冻结了的LM模型。 中做了更加详细的技术介绍,感兴趣的读者可以直接阅读论文。

Jurassic-X: 让神经模型学会符号推理




应用实例

博客中介绍了几种MRKL的应用场景举例,都是一些值得关注和实用的一些话题,涉及到方方面面可能出现在日常场景中的问题。

用人类语言去阅读和更新数据库

Jurassic-X: 让神经模型学会符号推理

问题:买玫瑰味的洗发水

Jurassic-X会从人类语言中提取中关键信息,并从商店清单中去检索产品,加入到购物车的数据库中。这在智能助理,电子商务等都有应用前景。

对于当下问题的文本生成

Jurassic-X: 让神经模型学会符号推理

问题:谁是当下的美国总统

Jurassic-X会融合当下及时更新的外部数据库,例如维基百科去产生更及时的数据。

Jurassic-X: 让神经模型学会符号推理

问题:公司的655400份份额被94个员工平均分配,每个员工得到多少?

Jurassic-X会通过语言模型提出去关键信息,并且应该去寻找一个“数学专家”,也就是计算器,从而得出正确结果。

Jurassic-X: 让神经模型学会符号推理

问题:更多的人住在Tel Aviv还是Berlin?

Jurassic会将组合型问题分解为若干子问题:Tel Aviv的人口是多少?Berlin人口是多少?哪个数字更大?等,解决了每个子问题后再把它们汇总在一起。更重要的是,这样也增加了可解释性,说明了模型给出答案的依据。

Jurassic-X: 让神经模型学会符号推理

问题:100美元可以换多少摩洛哥币?

Jurassic会把语言模型和一些及时更新的知识库融合在一起,从而容易获取到实践性敏感的动态信息。

Jurassic-X: 让神经模型学会符号推理

问题:克林顿是否曾经当选过美国总统

这里涉及到Clinton的歧义问题,问题的答案取决于哪个Clinton,是Bill Clinton还是他的妻子。Jurassic-X可以做出更加明确、透明的回答,而其他神经模型则不行。




AI21实验室位于以色列的一家自然语言处理的研究机构;它同时也是一个商业机构,旨在将现有的NLP技术快速部署到商业应用中。创始人包括从斯坦福大学退休了的人工智能教授Yoav Shoham;一家自动驾驶公司Mobileye的创始人Amnon Shashua,以及众包平台CrowdX创始人Ori Goshen。这家公司的口号是“重构人们的读写方式,朝向更美好的未来”(reimaging the way people read and write, for the better)。

Jurassic-X: 让神经模型学会符号推理

Jurassic-X: 让神经模型学会符号推理

版权文章,未经授权禁止转载。详情见 转载须知 。

Jurassic-X: 让神经模型学会符号推理


本文地址: https://www.gpxz.com/article/fd29ff6fc9cece404b21.html
全局中部横幅
全局中部横幅
酸雾净化塔

江苏熙天时环保科技有限责任公司专业从事酸雾净化塔,生物除臭塔,有机废气塔,污水池加盖的生产和销售,欢迎来电咨询:13961291523

穿越西元3000后漫画

看漫画致力于打造国内知名的正版漫画阅读平台,拥有偷星九月天、斗罗大陆、斗破苍穹、浪漫传说、暴走邻家等大批优秀国产漫画的正版授权。看漫画网一直坚持提供漫画免费阅读。看漫画,为漫画而生,看偷星九月天漫画、斗罗大陆漫画、斗破苍穹漫画就上看漫画网

药厂GMP净化车间

无锡焱祥净化科技有限公司是一家具有实力的洁净工程公司.专注于药厂GMP净化车间,电子洁净车间,洁净工程,暖通净化工程等项目设计,施工,调试,安装等服务.拥有丰富的技术经验,服务案例众多,费用合理透明,欢迎来电合作13921105613.

气动阀门定位器

苏州虞创智能仪表科技有限公司位于长三角经济技术开发区,地处鱼米之乡——常熟,公司占地面积15000㎡,其中厂房面积为8000㎡。是一家集科研、开发、生产和销售为一体的自动化装备及仪表为主导产业的高新技术型企业。公司主要制造高性能智能型电气阀门定位器、机械式电气阀门定位器、电气转换器、空气过滤减压器、限位开关(回讯器)等产品的新型企业,已通过ISO9001国际质量体系认证。联系电话:13915662000。

普顺达科技有限公司

EasyN是拥有十多年的网络摄像机生产经验的厂家,专业生产家用网络摄像机,家用监控安防设备,IP网络摄像机,室内户外网络摄像机,百万高清网络摄像机,网络婴儿监护器,婴儿看护仪,无线婴儿看护仪,秀拍宝贝,superbabe,全球均分布代理,并为国内外许多知名品牌代工。易视眼领先品牌,面向全球提供领先的智能看家产品,优质的服务为客户持续创造更大价值!

成套面粉机,家用磨面机

漯河市鑫瀚机械设备有限公司主要供应成套面粉机,家用磨面机,质量可靠。业务电话:13949856395

今日铜价

今日铜价格查询,国际实时铜价,现在铜价格今日价格走势图买卖数据以及美铜、伦铜、沪铜等国际铜价历史最新消息行情的数据和走势分析。

信服云托管云

信服云托管云具有安全可控、贴身服务的特点,既具备公有云资源弹性灵活、丰富的服务目录、免运维、服务化交付的优势,又具备私有云数据本地化、资源独享、专业运维服务的优势,可以满足用户业务平滑上云、高性能、高安全、免运维等需求。

硅系列

江苏康祥实业集团有限公司座落在扬中市长江大桥东侧,临近沪宁高速公路、国家重要港口-大港码头以及南京、常州机场,交通便捷。集团公司下设:江苏联合化工有限公司、江苏和纯化学工业有限公司、镇江惠隆化工有限公司和联合化工新技术研究所等实体……

中国知识产权律师网

中国知识产权律师网,是由北京著名知识产权律师徐新明联合法学家于2006年创办的具有全球性视野的优质知识产权法律网站,专业从事专利、商业秘密、商标、著作权(版权)、技术合同、反不正当竞争、植物新品种、集成电路布图设计、反垄断等诉讼及非诉讼高端知识产权法律服务。

微PE工具箱

跨时代的PE工具箱,装机维护得力的助手,最后的救命稻草。化繁为简,小材大用,一键安装,极速启动。

全局底部横幅