卡牌游戏八合一 华人团队开源强化学习研究平台RLCard (卡牌游戏八合怎么玩)

卡牌游戏八合一华人团队开源强化学习研究平台RL

语音播放文章内容

由深声科技提供技术支持

雷锋网 AI 科技评论按:在过去的两三年中,我们经常听说人工智能在棋牌类游戏(博弈)中取得新的成果,比如基于深度强化学习的 AlphaGo 击败了人类世界冠军 ,由 AlphaGo 进化而来的 AlphaZero 还一并搞定了国际象棋和日本象棋 ;基于博弈论的 冷扑大师(Libratus)也在无限注德州扑克比赛中击败了人类职业选手 ;今年在澳门举行的 IJCAI 2019 上我们也发现了一篇 斗地主 AI 论文 。

不过,虽然这些团队各自做出了令人瞩目的成果,但不管对于工业界还是学术界来说,都缺少一个迅速开发和测试棋牌类 AI 的环境。最近德州农工大学胡侠带领的华人团队就给出了他们的解决方案,开源了基于牌类游戏设计的 强化学习 Python 平台 RLCard ,在打包实现了多种牌类游戏算法的同时,也提供了中西方最流行的几种牌类游戏环境(包括斗地主、麻将、21点、德州扑克、UNO等),致力于为强化学习提供一个统一、易用的开发和测试环境。雷锋网 AI 科技评论介绍如下。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

具体来说,RLCard 实现了四种有代表性的强化学习算法:作为强化学习的代表算法的 DQN、作为带有自我学习的强化学习的代表算法的 NSFP、反事实后悔最小化 CFR 以及深度反事实后悔最小化 DeepCFR。RLCard 中也带有一个随机智能体。

RLCard 中实现了八种牌类游戏环境:二十一点(BlackJack),三种德州扑克(简化版德扑 Leduc Hold'em,有限制德扑 Limit Texas Hold'em 以及无限制德扑 No-limit Texas Hold'em),斗地主,麻将,UNO 以及升级(目前升级游戏环境还在开发中)。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

RLCard 安装快速、使用简单,提供大量的实例、文档及 demo;提供人类与 AI,以及 AI 与 AI 间对战的接口,支持并行加速。平台设计遵循以下设计原则:

对于游戏环境实现,RLCard 平台抽象并定义了这些游戏概念:玩家,比赛(Game),对局(Round),发牌者(Dealer),裁判(Judger)。游戏环境实现都通过这些概念对应的类,这样的相同的设计规范让游戏逻辑更容易理解、更容易操作。别的牌类游戏也基本都可以符合这个结构,未来如果想要增加很容易。

作为对比,现有的强化学习库多数都是单智能体环境的(比如 OpenAI Gym);近期虽然也有一些支持多智能体的环境(比如星际2),但它们并不支持牌类游戏。RLCard 专为牌类游戏设计,不仅是一些牌类游戏在强化学习库中的首次实现,也提供了简单直观的接口,便于强化学习研究。

在目前的学术文献中,解决扑克游戏的最热门的方法是反事实后悔最小化(Counterfactual Regret Minimization,CFR),以及它的各种变体,胜过了人类职业选手的冷扑大师(Libratus)使用的就是基于 CFR 的方法。不过,CFR 很消耗计算资源,因为它需要完全遍历整个游戏树,所以它也不适用于斗地主之类的状态空间很大的游戏。

近期也有研究表明,强化学习策略可以在打赌类的博弈中取得很好的表现,比如玩斗地主就玩得不错。这些美妙的成果,以及强化学习本身的灵活性都让我们有可能探索状态空间、行动空间更大的更困难的牌类游戏。

RLCard 使用简单,输入 pip install rlcard 可快速安装。安装完成后,用以下 5 行代码就能用随机的智能体产生对局数据,返回的数据可直接用于强化学习算法训练

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

另外,RLCard还提供了丰富的的运行实例,包括产生随机数据,训练CFR、DQN、NFSP等算法,以及多进程运行实例。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

RLCard 提供人机对战 demo。RLCard 提供 Leduc Hold'em 游戏环境的一个预训练模型,可以直接测试人机对战。Leduc Hold'em 是一个简化版的德州扑克,游戏使用 6 张牌(红桃 J、Q、K,黑桃 J、Q、K),牌型大小比较中 对牌>单牌,K>Q>J,目标是赢得更多的筹码。与预训练模型对局展示如下:

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

除此之外,开发团队还对 RLCard 做了系统的评估。他们测试了最流行的强化学习算法在环境上的表现。测试方法包括与随机策略的比较以及 AI 间互相对战的比较。发现主流算法在小型游戏上普遍有较好的效果,但是在较复杂游戏(例如斗地主、UNO)效果一般。如何在复杂的游戏中更好地训练强化学习算法需要更多的研究。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

团队也对游戏运行的效率进行了评估。在 24 核 2.10GHz CPU 服务器上对各个游戏的运行时间进行了测试,使用多进程可以更高效地产生游戏数据。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard

目前 RLCard 的官网已经上线,其中提供了详细的文档。学术论文也已经发表在 arXiv,第一作者为查道琛。详细信息可以访问下面的链接:

未来,作者们还会继续优化和增强这个平台,他们的计划包括增加基于规则的智能体、增加更多预训练模型(帮助评价模型),增加更多游戏环境和算法,以及增加可视化和分析功能等。相信这个环境能对领域内的研究人员们起到很大帮助。

感谢查道琛、胡侠对文本提供的帮助。雷锋网 AI 科技评论报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

卡牌游戏八合一,华人团队开源强化学习研究平台RLCard


本文地址: https://www.gpxz.com/article/e687f968eed515a19769.html
全局中部横幅
全局中部横幅
武汉中北知识产权代理有限公司

武汉中北知识产权代理有限公司,成立于2005年1月25日,十多年来已为湖北地区众多客户提供了专业、及时、高水平的知识产权法律服务。业务范围全面涉及国内外商标、专利、版权、知识产权行政及诉讼案件。武汉中北知识产权秉承“服务第一,信誉至上”的宗旨,致力于给客户提供适合其发展的知识产权保护方案,擅长处理各类商标专利纠纷及诉讼、中国驰名商标的认定和保护。

深圳软装设计公司

深圳软装设计公司为您提供深圳地区软装设计,配饰设计,及福州样板房设计等选择设计公司就来北牧空间设计

雪松树

南京汤泉雪松苗圃基地自产自销,咨询电话:13914797733,最新雪松小苗价格。长年供应各种规格雪松、雪松小苗、雪松工程苗以及雪松树苗绿化方案指导。

眉山房产网

眉山购房网立足眉山房地产网络行业,集眉山房产,眉山房地产,眉山楼盘,眉山二手房为一体的综合性门户网站平台。房产价格咨询热线028-38286861作为眉山人还不知道最全房产信息网?就到眉山购房网吧!

乐山叉车

乐山杭叉工程机械销售有限公司是一家从事杭州叉车经销、配件销售、维修业务及配套服务的企业,产品覆盖内燃,电动,托盘堆垛车,搬运车,手动液压叉车等类型,欢迎夹江、犍为、马边等各区县及眉山客户来电洽谈。

北京停车场运营管理公司

北京金地安达停车管理有限公司是专业的停车场运营管理公司,提供停车场规划设计、停车场投资建设、停车场运营外包、停车场管理外包及智慧停车场解决方案,目前企业员工有500人管理停车位20000多,是北京市停车协会的优秀会员单位,公司所涉及的停车场管理职能,覆盖了宾馆饭店、CBD商务区、公共场所及高档、中档住宅小区等领域。业务覆盖北京朝阳、丰台、海淀、东城、天津、河北、雄安等地。

艺术留学

psone艺术留学专注欧美艺术留学申请,美国,英国留学作品集培训辅导 [优势]跨学科☑招生官联盟[奖学金]美术留学,艺术留学生获奖率85% PSONE品思国际艺术教育处艺术留学机构:上海,成都,重庆,深圳,郑州,广州,西安,北京,青岛都有留学美术培训班

郴州职业技术学院

郴州职业技术学院,美丽的郴州欢迎您!

列表网

列表网为您提供生活,商务,教育,宠物,车辆,房产,加盟等综合分类信息。一站式分类信息平台,找信息,更便捷可靠。

CTB
CTB

CTB全球青年研究创新论坛,由哈佛商学院学者和清华大学经管学院学者联合启动,鼓励全球中学生完成原创创新实践项目和学术论文,同时优秀项目团队将受邀前往全国论坛和哈佛英文论坛展示成果,并将优秀论文发表至哈佛YSA学术期刊。


全局底部横幅