以大模型视角看待一切机器人问题丨GAIR live 对话武汉大学李淼教授 (以大模型视角的游戏)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。
这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。
我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
当机器人遇上大模型
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；
同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>（欢迎添加微信icedaguniang，交流认知，互通有无。）
GAIR live 圆桌预告
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using LargeLanguage Models to Improve Reliability
IJAIRR正在邀约论文和专题
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。IJAIRR欢迎各类研究论文、评论文章、短篇论文、书评以及专题（Special Issue）形式的投稿。我们特别关注那些在顶级AI会议上发表并现场展示，但缺乏长期沉淀平台的优秀论文。为了给这些论文及其作者提供一个更广泛的发表和推广渠道，IJAIRR现正积极邀约相关论文投稿。如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。
联系人：
IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/8604acf334a8ea377e04.html
权重历史查询通过用户输入域名后，查询该域名的百度、360、神马等搜索引擎的权重历史记录，从而了解一个网站的权重变化过程。
苹果授权呈贡佰腾科技有限公司：为呈贡地区苹果专卖店代理产品：苹果手机、苹果电脑、手机维修。店长微信：13888149669地址：呈贡沿河路98号
上海离婚律师,谭凯律师电话15026597100,北京盈科(上海)律师事务所合伙人,中国政法大学民商法学硕士,中华全国律师协会会员,专注于离婚,财产分割,子女抚养权争取等处理,上海婚姻律师,上海离婚律师,上海离婚律师事务所,离婚咨询专家解答,离婚财产如何分割
商标交易就找易标网-拥有众多热门好商标，严选商标，精选商标，专业商标交易，一对一服务，让你轻松购买商标，周期短，成功率高
生物在线，生物谷网站旗下生物科研服务专业平台，生物在线围绕生物医药科研和开发领域，提供从各种仪器，试剂，耗材等产品，到技术服务方案等综合服务体系
中药药用价值网是介绍中药的功效与作用及食用方法的网站。
盐城市华赫电热电器有限公司致力于工业电加热棒，电热管，加热管的设计与生产，欲知加热管价格找专业的电加热管生产厂家，欢迎电加热管咨询：13382641819。
青岛美嘉隆包装机械有限公司是目前国内专业致力于钢边箱镀锌包边钢带、钢带插片式无钉包装箱、包边钢带成型设备、钢边箱设备、全自动钢带机、木托盘设备的生产制造企业。
企博网是基于职业社交关系和高质量内容的社会化电子商务营销平台.人脉,编织你的个人商务人脉网络;职业博客,建立和推广你的网上个人职业品牌;企业博客,宣传和推广你的生意和企业.企博网B2BSNS:职业人和生意人的商务社交网络。
赫克尔密封技术（南京）有限公司
iFLYOS是科大讯飞提供的软硬一体化、自由度高、连接海量服务的硬件解决方案。iFLYOS开放平台以iFLYOS云端语音操作系统为基础，提供声学等前置能力和内容、技能、智能家居控制等服务。
1377游戏(www.1377.com)是全球具有知名度的专业手游平台之一，旗下有手机游戏、h5游戏等，致力于精细化运营和推广，打造属于自己的平台，提供最新最好玩的手机游戏大全，手游礼包、充值、下载、新闻攻略评测等，为用户提供全方位的服务，坚持创新，立志成为新兴游戏平台中的领军人。
最右作为一款广受年轻人喜爱的社交平台，大家不仅能在自由参与各种话题互动，同时还能申请成为创作者，将优质文案上传至平台，获得流量可以成为您的创作收入，不少用户想知道在哪看创作收入?那就赶紧来看看今天为您带来的教程吧，...。
新浪微博上#魏则西百度推广事件#的话题阅读量已经达到2600万，讨论量1.6万条，微博话题榜总榜排名第四，微信朋友圈、微信公众号几乎都是该话题的内容，各大新闻客户端也在头条醒目位置发布了该话题相关的内容，如果细分点会发现，和上次贴吧事件不同的是，这次事件新闻客户端上该内容的评论量突破10万的稿件非常多，由此可见，用户的情绪一直在不断的...。
12月26日，在华为，AI生活享品质，媒体品鉴会上，华为拓展IoT品牌，华为智选，，并发布了多款产品，华为方舟实验室也首度亮相，华为消费者业务CMO朱勇刚，华为AIoT战略会议最初，华为消费者业务CMO朱勇刚表示，华为的愿景是把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界，未来的智能世界将会在释放个人潜能、丰富家庭生...。
正常拍照对比，都只会提一嘴取景框清晰度，但在搞FindX7Ultra拍照对比的过程中，发现几台机的相机预览界面清晰度差距巨大，所以就有了这个刁钻的对比项目，然后补几张OPPOFindX7Ultra、vivoX100Pro、小米13Ultra和三星GalaxyS23Ultra的高像素模式对比，相机规格直接看表↓主摄取景，全局与中央放大中...。
揭秘俄罗斯航班的独特标识，航班号解析航班号，这个看似简单却又深藏玄机的数字组合，对于全球航空旅客来说，是出行旅途中的重要指南，今天，让我们一起深入理解俄罗斯航班的专属代码，探索其背后的规律与含义，航班号的科学构建每个航班都拥有其独特的代码，这是航空公司为便于组织和管理而精心设计的，航班号通常由两部分组成，航空公司二字代码和四位数字，这...。
fonmm大神级投影控发表于2024，01，17在Kodi中播放硬盘电影的步骤如下，1.确保硬盘中的电影已经拷贝到Kodi的媒体库中，并且命名规则为英文或数字命名，以便于Kodi识别，2.打开Kodi并进入媒体库页面，点击左上角的媒体库按钮，进入媒体库，3.在媒体库中，找到并选中你要播放的电影，然后点击上方的，编辑，按钮，4.在编辑电...。
发表在专业问答2021，4，3015，49展示机型信息，品牌型号，当贝X3、iPhone12系统版本，当贝OS2.0、iOS14.41.可以将手机横置，就可以放大画面；2.可以通过影视软件的投屏功能进行投屏，这样就可以铺满画面；3.通过调节投影仪的画面尺寸来调整投屏的画面尺寸，手机投屏如何调整画面尺寸方法一，手机旋屏将手机横向转屏，即...。
外地期间12日，以色列新任国防部长卡茨示意，在指标成功之前，以色列不会在黎巴嫩开战，也不会给黎真主党喘息的时机，卡茨称，以色列将确保解除真主党的武装才干，让以色列北部居民安保前往家园，总台记者张卓雅，点击进入专题，中东形势继续更新...。
澎湃资讯记者邱海鸿父母离婚，女儿随母亲生存，父亲支付抚养费至其18周岁，女儿考上大学后经济压力增大，需要父亲继续支付学费及抚养费，协商未果后诉至法院，江苏邳州市法院日前发布该案案情，法院最终采纳女儿提出的由父亲继续支付抚养费、教育费等的诉求，2017年，小马的父母离婚，商定小马由母亲抚养，父亲马某每月支付抚养费1500元至其十八周岁，...。
封面资讯记者7月2日上午11时许，重庆火车北站北广场负一层内，一辆出租车内行驶环节中高速追尾了一辆反常行驶的彩色轿车，被撞轿车又失控冲向旁边的立柱，目击者称，意外出现后，一名男性被撞侧躺在地上，而出租车女司机的腿部受伤，被善意人抱出驾驶室，追随在出租车后的一辆车上的行车记载仪显示，彩色轿车正颠簸行驶在路线上，突然间，出租车疾驰而来，撞...。
金山词霸是很多学习英语的小同伴都在用的软件，经常使用金山词霸的时刻，对词典启动治理，可以让咱们愈加繁难的去经常使用，那么怎样治理词典呢，上方我为大家带来了具体方法，治理方法引见，1.第一步，下载装置金山词霸，而后微微点一下桌面上的快捷图标，关上金山词霸，而后，在主界面找到资料核心点一下进入！2.而后，就会出现咱们须要的词典列表，而后依...。
由于最为直观，针对造型的传言更是五花八门……
暴风影音下载-暴风影音手机版是一款手机播放软件，说起暴风影音播放器安卓版想必很多朋友都了解过，就算没使用过手机版的，电脑版的至少听说过，是个老牌子了。除了海量的资源，在视频观看上也做了不少优化，您可以免费下载安卓手机暴风影音。
spss,SPSS的全称StatisticalProgramforSocialSciences，即社会科学统计程序。该软件是公认的最优秀的统计分析软件包之一,您可以免费下载。
geogebra图形计算器,geogebra图形计算器是一款适合于各种教育背景用户使用的动态数学软件，他拥有着能将图形，数字，函数等理科科学以图像展现出来的强大软件，马上下载这款geogebra图形计算器吧,您可以免费下载。
图形图像处理软件有哪些？来绿色资源网就知道了，提供各种图形图像相关软件下载，包括图形图像处理软件、图形图像制作软件、图形图像设计软件等。
源码说明无需下载，不受系统**，方便用户定制DIY手机壳。1.php开发安全稳定2.无需下载快速使用3.采用开源框架方便二次开发4.开源API可以在后台编辑手机壳型号以及图片，和自定义图片，前台可以直接选择，超方便的di...
