以大模型视角看待一切机器人问题丨GAIR live 对话武汉大学李淼教授 (以大模型视角的游戏)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。
这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。
我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。无论是采用规划领域定义语言（Planning Domain DEFinition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
当机器人遇上大模型
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；
同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>（欢迎添加微信icedaguniang，交流认知，互通有无。）
GAIR live 圆桌预告
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using LargeLanguage Models to Improve Reliability
IJAIRR正在邀约论文和专题
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。IJAIRR欢迎各类研究论文、评论文章、短篇论文、书评以及专题（Special Issue）形式的投稿。我们特别关注那些在顶级AI会议上发表并现场展示，但缺乏长期沉淀平台的优秀论文。为了给这些论文及其作者提供一个更广泛的发表和推广渠道，IJAIRR现正积极邀约相关论文投稿。如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。
联系人：
IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/8604acf334a8ea377e04.html
QQ空间(Qzone)是拥有数亿用户的社交网络，是QQ用户的网上家园，是腾讯集团的核心平台之一。您可以玩游戏、玩装扮、上传照片、写说说、写日志，黄钻贵族还可以免费换装并拥有多种特权。QQ空间同时致力于建设腾讯开放平台，和第三方开发商、创业者一起为亿万中国网民提供卓越的、个性化的社交服务。
音悦台-音乐那么好看
起沣传动设备（上海）有限公司主营同步带,输送带,三角带,同步带轮,链条,麦高迪等工业传送带,为了迎合不同企业客户对产品的需求，传动带都可以用根据需求进行特殊加工,可提供现场维修,接头服务,同时,还可以为你的特殊需求研制,开发特殊专用工业皮带.
翼企网（35nic.com)是一家专业的综合类B2B平台，致力于为广大中小企业提供免费网站服务和免费信息发布服务，用户可通过平台，免费建立自己的商务网站，发布和查询供求商机、企业名录等商业信息。
在线测吉凶免费提供车牌号码吉凶查询，如果你刚拿到车牌号，就赶紧来测试一下车牌号吉凶吧。
浩维网络
火旗装备是青岛工业热风机生产厂家,主营产品有:通用型热风机,烘干循环热风机,便携式热风器,风刀吹干机,不锈钢风刀,烘箱干燥设备等
夸克pc/app为你带来极速、智能、安全、高效的搜索体验,找答案,找资料,找工具,办公,学习,工作必备应用。夸克提供浏览器搜索引擎、网盘、AI扫描王工具及小说阅读等高效功能，为你提供稳定,安全,流畅的浏览环境和优质的产品服务体验
查询2024年美国【优兰特排烟机】大全,优兰特移动式消防手抬泵最新选型,找优兰特排烟机代理苏州敦品工业陈明鹏13372123999
成都霍达尼商贸有限公司面向陕西,是一家专注于区县游览景区管理的微型企业。我们致力于满足客户多样化的需求，提供优质的批发服务。公司拥有一支经验丰富的团队，秉承诚信、专业和高效的原则，在激烈的市场竞争中不断前行。通过大数据分析和市场研究，我们不断优化产品线和服务内容，确保与时俱进。
质量效应：仙女座游戏专题;提供质量效应：仙女座中文版下载,质量效应：仙女座攻略大全,质量效应：仙女座汉化补丁,质量效应：仙女座视频解说,攻略视频,修改器,汉化下载,完美存档,MOD,配置,教学,截图,壁纸等资料。更多《质量效应：仙女座》相关内容尽在游侠网。
五颜六色的鲜花能够治愈人心，现在也越来越多的人喜欢种花，那么有没有种花的游戏推荐一下2023呢，今天小编就给大家带来几款热门的种花游戏，在游戏中能够欣赏到很多美丽的鲜花，还有机会认识一些珍惜花朵种类呢，简单的玩法跟唯美的画面相结合，听起来就很吸引人，那么赶紧一起来看看是哪些游戏吧，1、，小花仙，这款游戏是由页游演变而来的，画面制作相当...。
1月7日，抖音生活服务在海南三亚举办了，服务无界，卓越领航，直营服务商年度峰会，公布了过去一年在服务商生态建设的举措与成果，并分享了新一年平台在战略经营方向、产品功能升级以及营销拓展等方面的规划布局，同时，为过去一年表现卓越的36名优质服务商进行颁奖，服务商支付交易额同比上涨85%大场直播能力持续增强抖音生活服务直营服务商负责人张传波...。
在知乎看到一个这样子的问答，题目是如何快速引流到微信满人，里面讲的内容不是让大家去百度搜索微信群，就是让大家跟别人去互换群，然后自己一个一个手动添加，再或者就是去送礼物，送各种资源给自己引流，其实我想说的是，这些方法，加来的好友是没有什么用的，可能人家拿了你的礼物或者是一些资源之后，立马就会把你删掉，而且互换来的群，可能还是一群做微商...。
随着时代的发展，国内与国外联系起来，似乎出国成为了一件不太困难的事情，因此许多事物都更偏向国际化，国内开始学习国外文化、教育方式等，新一代家长希望眼前一亮，让孩子以更新的教育方式发展，活出新高度，早教也是近几年流入国内，许多家长接收到这样的新信号，更愿意将宝贝在上幼儿园之前送入早教机构进行学前培养，使得孩子在众多宝贝中脱颖而出，早教行...。
身份证后六位数字，依据查问橙天嘉禾显示，大地影院卡初始明码是置办时应用的身份证后六位数字，大地影院个人是集影院投资、建设、经营及操持为一体的综合型企业，大地影院会员卡怎样查购置大地影院会员卡查问购置的方法如下，1.关上大地影院官网网页，2.点击，我的，按钮，进入，我的页面，3.在，我的页面，中点击，会员卡，按钮，进入，我的会员卡页面...。
这段期间，新疆站上，风口，前几天，上海协作组织阿斯塔纳峰会举办，一个共识是，教训23年的开展，在上合组织从区域向世界变质的大背景下，新疆正由天文中心变为协作的纽带，上个月，中国—吉尔吉斯斯坦—乌兹别克斯坦铁路名目三国政府间协议正式签订，标记着期待近三十年的中吉乌铁路将开局实质性动工树立，让喀什，腾飞，在即，再往前，5月，，电视剧，我...。
讨论北京现代雅绅特的性价比关于北京现代的雅绅特车型，以下是我的一些见地，首先，让咱们关注入门级的手动温馨低配版本，它装备了基本的安保设备，如单气囊、ABS，EBD系统，以及适用的四门电动车窗、倒车雷达和前后雾灯，此外，它的轮圈选用是钢圈，这些都是基础性能，但是，假设你谋求更多温馨性和便利性，手动奢侈版则是更好的选用，相较于低配，它削减...。
理论状况下咱们在装置win7系统之后，都是须要启动激活才可以反经常常使用的，大局部都会经常使用激活密钥来启动激活，假设你是在装置中没有激活，那咱们就将在装置后输入密钥，这个密钥关于咱们也是至关关键的，接上去小编就给大家分享一下Win7系统各个版本激活密钥大全供大家参考，一、4枚神Key，KH2J9，PC326，T44D4，39H6V，...。
原神安卓版是一款以画面精美、拥有超大开放世界的动作冒险类手游，原神拥有精湛的画风和精美的立绘人物，多种职业和角色的选择，让你体验更多华丽的技能大招释放，参与每一场战斗，享受指尖的打斗场景!完美下载为您准备了“原神安卓版”，欢迎大家前来下载使用
USB调试模式是安卓系统提供的一个用于开发工作的功能，使用该功能可以在电脑和安卓设备之间复制数据、在安卓设备上安装游戏软件等等。默认情况下，USB调试模式是关闭的，所以需要手动打开它。打开了USB调试模式，才可以在电脑上往手机里安游戏，因此很重要。US
看了《不虚此行》后，终于理解胡歌的精神状态了,胡歌,吴磊,大鹏,电影,不虚此行,实力派演员
受台风海葵残余环流和季风影响深圳广州东莞等城市突发大暴雨截至月日时分广东暴雨红色预警已增至个广东省气象台预计月日珠三角以及周边地市将持续有强降雨注意防御东莞遇强降雨隧道成河车在水中自燃月日广东东莞遭遇强降雨天气虎门博涌社区一辆汽车在水中自燃随后消防赶到救援目前火灾已扑灭无人员伤亡有道路隧道被淹没几乎成了河流部分路段积水...
26日消息，中央广播电视总台，2025年春节联欢晚会，分会场发布活动在京举行，会上宣布阿里云成为总台春晚云计算AI独家合作伙伴，春节期间，阿里云全球云计算基础设施及AI技术将支持全球华人云上看春晚，这是总台春晚史上首次引入技术合作伙伴，此前，总台已宣布阿里巴巴成为2025春晚独家电商互动平台，近年来，阿里云为春晚进行技术护航，保障春晚...。
要闻提示1.快手北京游戏事业部被曝全数被裁，游戏研发超三年，成本上亿，上线后无盈利2.小红书通报一员工向男友泄露机密被辞退，男友，小红书CEO曾邀我加盟3.华为Pura70零件已实现90%本土制造，全国产化仅差一步4.知名病毒学家被曝睡在实验室门口，院方强行关闭实验室，与现任领导没有恩怨5.雷军谈个人微博运营，起床先想好三五条，每条内...。
，新智驾，获悉，广汽研究院近日引入了一名Waymo背景的技术人才，拟发力自动驾驶端到端的研发，据了解，该技术人才此前在Waymo已任职超过5年时间，以院级专家的职称加入广汽研究院，归属于广汽研究院的智驾技术部，目前其正在搭建端到端团队，关于该技术人才的背景及广汽端到端的进展，感兴趣的读者可添加作者微信stj09twinkle交...。
发表在综合交流大区2024，5，3017，38对于喜欢露营的用户来说，一款便携式投影仪可以让用户在户外也能体验大屏，那么便携式投影仪怎么选购呢，在618活动中吗，有哪些值得入手的便携式投影仪，下面就为大家盘点，看看618便携式投影仪推荐哪款，一、618便携式投影仪怎么选购，1.小巧轻便便携式投影仪自然需要机身小巧轻便，方便用户收纳使用...。
发表在综合交流大区2024，5，3020，51随着科技的飞速发展，投影仪已成为家庭娱乐、商务会议和教育培训等领域的必备设备，在挑选投影仪时，亮度作为关键参数之一，直接影响到投影画面的清晰度和观看体验，亮度不够，其他一切都是白搭，下面就分享2024投影仪亮度排行榜天梯图，带大家了解热门投影产品的亮度情况，一、投影仪亮度单位以什么为主投影...。
