对话武汉大学李淼教授 以大模型视角看待一切机器人问题丨GAIR live (武汉大学采访)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；
另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
01 从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。
瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。
这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。
甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。
机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。
要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。
无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。
这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。
我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。
不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。
以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。
我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。
本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability
《国际人工智能与机器人研究期刊》（International Journal of Artificial intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。
作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。
如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。
如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。
如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。
IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。图片
联系人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/a9b0b5bc08413721deca.html
PR值全称为PageRank(网页级别)，取自Google的创始人LarryPage。它是Google排名运算法则（排名公式）的一部分，PR查询可以根据域名查出对应网站(可查内页)的PR。
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
北京德诺伊优势供应欧洲进口光电领域产品，光电领域备件类产品等，原厂直供可提供报关单，专业工程师配合选型、提供合理解决方案，为您的实验、工业生产目标尽最大努力。
穿搭（Wearandride），汉语词语，对于个人服饰风格的分类以及各种风格类型的穿衣法则。
聚媒网十年专注企业软文媒体营销推广，业务涵盖：新闻媒体软文发布、自媒体软文推广、GEO优化系统，平台拥有30000+的一手媒体资源和技术团队，为企业提供一站式品牌推广服务。我们拥有10000家以上的网络门户媒体资源及数万家自媒体资源。平台采用一站式服务模式服务数千家用户及代理商。发软文，上聚媒！
上海鹤佑国际贸易有限公司是上等的“CRC防锈剂,crc清洁剂,crc润滑剂,CRC70,三防漆,CRC”供应商，主要经营产品有：CRC防锈剂,crc清洁剂,crc润滑剂,CRC**代理,三防漆,CRC,CRC70,带电清洗剂,CRC5-56,绝缘漆,精密电器清洗剂,检漏剂,食品级润滑脱模剂,除油清洗剂,高温极压油脂
北京瑞弛是专业研发生产溅射靶材以及特殊合金的厂家，为国内外众多材料用户提供定制化服务，满足客户不同场景的需求。主营的产品包含：金属靶材、陶瓷靶材、以及特殊合金，并提供蒸发材料、高纯材料，为客户提供多元化的研发服务。
沂水信联信息科技有限公司
星康游戏网为广大游戏玩家提供最新、最全、最热门的游戏攻略，覆盖手机游戏、端游、页游等全平台内容。无论是新手还是高手，这里都有你需要的游戏攻略和技巧，一站式满足游戏需求，轻松成为游戏达人
ShenzhenLingZhitraffictechnolgiesCo.,LtdProvideroadtrafficmanagementsystem,includingsignallights,banner,graphenesensor。andmagneticsproducts深圳市灵智交通科技有限公司提供完整的公路交通管理系统，包括红绿灯，信号控制机，呼吸机等。同时提供磁性材料产品和五金制品,石墨烯传感器。工业传感器
乐山杭叉工程机械销售有限公司是一家从事杭州叉车经销、配件销售、维修业务及配套服务的企业，产品覆盖内燃，电动，托盘堆垛车，搬运车，手动液压叉车等类型，欢迎夹江、犍为、马边等各区县及眉山客户来电洽谈。
uao提供了一套综合的企业全集成云数据库应用与平台服务，实现企业数字营销,营销自动化助力提升企业营销.
今晚19时，8.1如约而至，Windows8用户将能够通过Windows应用商店免费升级到代号WindowsBlue的Windows8.1，但是有不少朋友也遭遇到了一些更新上的问题，现在简单整理一下与大家分享，在当前Windows8上无法在应用商店中看到免费更新到Windows8.1的推荐，请先安装KB2871389，执行执行，wsr...。
今天Win10预览版10125的官方镜像下载地址泄露，该版本与之前曝光的版本完全一致，该版本为英文版，语言包并未随之发布，[captionalign=aligncenter]泄露，Win10预览版10125微软官方镜像下载[，caption]Win10预览版10125英文专业版64位，MD5，5C05E39E6F8C8BED177C8...。
胥先生，中式餐饮连锁品牌2010年诞生于无锡弄堂深巷中直到今天，胥先生全国总店已超过150家拥有大批忠实的消费群体胥先生宜兴中环店开业啦！宜兴中环店，是胥先生开的一家工厂店，可容纳百人就餐胥先生菜单品类胥先生从一开始的鸭血粉丝，到现在的炒饭炒面，酸菜鱼砂锅，米线酸辣粉，麻辣烫牛蛙等一系列品类，不断创意升级，迎合大众的口味，...。
2019年首批支持Wi，Fi6的手机上市，开启了Wi，Fi6时代，2022年2月，高通发布了首个Wi，Fi7商用解决方案，此时距离Wi，Fi6商用仅三年，相比之下，2013年商用的Wi，Fi5技术演进到Wi，Fi6，用了6年时间，Wi，Fi的演进似乎正在，超速，这不禁让人好奇发问，到底是什么踩下了Wi，Fi演进，加速，的油门，自20...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，2019年6月3日，华米科技在公布第一季度财报的同时，其CEO黄汪表示，，在未来几个月的时间里，华米科技将发布超过十款AMAZFIT智能手表，随后，6月11日、7月16日、8月27日，华米科技在三个月内连续召开三场新品发布会，迅速将十数款产品分系列迅速投入市场，也...。
6月14日，全球顶级赛事世界杯正式开赛，作为世界上，吸金力，最强的体育赛事，世界杯不仅仅是全世界足球迷的狂欢，更是各大品牌主激烈争夺的，战场，三重创新玩法燃动球迷热情世界杯期间，应用宝在6月1日、6月22日、7月1日三个节点将分别推出，千万现金红包，、，我的战场持久力，、，集卡分红包，三重创新活动玩法，并在活动中发放千万级现金福利红...。
冷冻薯条作为一种特色小吃，受到了很多美食爱好者的欢迎，其制作方法简单，而且既营养又美味，简直是老少咸宜，随着人们生活条件的不断改善，越来越多的人更加注重美食上的享受，所以冷冻薯条的需求量正在不断增加，那么，想知道冷冻薯条品牌排行榜吗，一起来了解下，No.10麦肯冷冻薯条麦肯冷冻薯条的主要优势就是价格亲民、性价比高，而且其制作方法简单，...。
假如电商关了，实体店嚣张了，20块钱的裤子卖200，试穿就必须买，不买就挨打，苦的是广大穷苦老百姓，而且有钱人都把持着房地产，很多有钱人都是一个片区一个片区的买，垄断了一个片区的店铺，就等着二十年前的一铺养三代的好日子来临，现在电商把实体店压下去了，他们不甘心，就雇网络写手来把他们摇旗呐喊，整天在网上狂吠，说电商坏话，但凡数学能考20...。
坐落在冷落的上海市徐汇区宜山路520号中华门大厦1907，1909室，上海皇室摄影上班室以其共同的魅力和专业性，不时开展壮大，这是一家集婚纱摄影、艺术写真于一体的全方位文明开展企业，努力于为客户提供出色的服务和作品，曾经成为上海摄影界中备受注目标品牌，上班室领有一支阅历丰盛且技能精深的专业团队，其中包含资深的摄影师、外型师以及富裕创意...。
总台记者外地期间7月2日得知，一份法庭文件显示，美国纽约法官将原定于7月11日的美国前总统特朗普，封口费，案判决推早退9月18日，总台记者张颖哲，关系报道美国纽约法官局部解除特朗普，封口费，案禁言令，央视资讯，外地期间6月25日，美国纽约法官局部解除了针对美国前总统特朗普在，封口费，一案中的禁言令，据悉，修正后的命令准许特朗普地下议...。
这个版本有许多新增功能和修复的地方。具体包括以下内容：1.平台新增了用户找回密码功能，用户可以通过该功能找回自己的密码。2.平台新增了短信注册功能，实现了实名制功能，提高了平台的安全性。3.平台新增了主图后台添加...
失易得数据恢复Mac版是Mac平台上的一款安全、易用、专业、稳定、好用的数据恢复软件。通过友好的使用者体验和向导操作，失易得数据恢复Mac版让您只需三步骤即可恢复数据，即使您不熟悉电脑操作，也可轻松找到;您可以免费下载。
失易得数据恢复Mac版是Mac平台上的一款安全、易用、专业、稳定、好用的数据恢复软件。通过友好的使用者体验和向导操作，失易得数据恢复Mac版让您只需三步骤即可恢复数据，即使您不熟悉电脑操作，也可轻松找到;您可以免费下载。
这个版本有许多新增功能和修复的地方。具体包括以下内容：1.平台新增了用户找回密码功能，用户可以通过该功能找回自己的密码。2.平台新增了短信注册功能，实现了实名制功能，提高了平台的安全性。3.平台新增了主图后台添加...
重庆分类目录网站收录电线电缆相关的优秀网站大全分类检索，为上网用户提供电线电缆网站排行榜与您分享、收藏！
法宝专题,提供法宝的相关文章和相关资讯,在本栏目你可以看到法宝这个内容的相关各类文章很多篇,如有不足请提供给我们更多法宝的文章供大家查阅.
重置长城腾翼C50T爱护提示操作指南，首先，关上你的腾翼C50T，找到仪表台左侧的RESET键，按住此键，直至进入爱护提示界面，坚持长按约30秒，这时你会看到爱护提示的公里数会智能回到初始的5000公里标志，提示被完成归零，关键提示，此方法适用于长城腾翼C50T车型，关于其余车型或许不适用，因此请确保你的车辆型号合乎操作步骤，如若不确...。
