对话武汉大学李淼教授 以大模型视角看待一切机器人问题丨GAIR live (武汉大学采访)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；
另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
01 从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。
瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。
这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 ConSolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。
甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。
机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。
要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。
无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。
这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。
我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。
不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。
以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。
我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。
本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。
作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。
如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。
如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。
如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。
IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。图片
联系人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/a9b0b5bc08413721deca.html
海南英楚实业有限公司成立于2016年，是一家专业从事筛网，围栏安装制品的公司。服务范围涵盖广，对设备与设施的保护与防护等多个领域。海南九强交通安全用品有限公司成立于2021年，是一家从事家具安装，维修服务，建筑材料销售等业务的公司。承包护栏板（网）销售安装施工一条龙服务。公司以“专业、诚信、客户至上”为宗旨，致力于为客户提供优质的服务，为客户的发展提供支持和帮助。服务热线：15075815554
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
4399密室逃脱游戏大全为您提供密室逃脱系列,密室逃脱4,密室逃脱系列中文版,实景密室逃脱攻略。好玩就拉朋友们一起来玩吧！
供应日本进口日本模具钢,日本进口skh51高速钢,日立SKH51模具钢,skh51高速钢价格,skh51是什么材质,skh51高速钢多少钱一公斤,skh51热处理工艺,skh51热处理硬度多少,skh-9高速钢,skh51钢,skh54速钢,hap72高速钢,skh61速钢,m42高速钢,skh9高速钢,skh40,skh55高速钢,skh59高速钢,dex40,dex20,dac55,dex60,dPX4,PX5,等钢材
就发物流网拥有国内各地物流专线信息,为用户提供各地物流专线信息查询服务,专注物流信息推广。
云上南宁官网-云上公司注册，简称云上南宁官网-云上公司注册，是互联网线上虚拟园区，通过互联网的办法提供线下园区几乎所有的配套服务。除电子营业执照办理外，还能提供政策申报与兑现、线上培训、引导基金等服务。
广州保亮得塑料科技有限公司（简称“保亮得”）成立于2007年5月，位于中国广州市南沙区榄核镇万安工业园区内，开始时是一家归国留学生创业的企业，目前已经发展成为在国内行业中有较高知名度的集研发、生产及销售新型塑料色母粒及功能母粒的高新技术企业。
初橙网络
山东精诚医药装备制造有限公司主要从事小型粉碎机,药材粉碎机,全自动胶囊填充机,中药制丸机,中药提取设备的研发和生产.订购热线：400-008-6711/400-008-6722
上海艾考拉信息控制技术有限公司，公司依托上海及国内外优势资源并坚持以人为本的理念，汇集了一批优秀的自动化、电气、电子和计算机等领域的人才，积极与国内外著名系统及产品制造商建立良好的合作关系
《TT玩加》是一款深受玩家喜爱的手游折扣福利平台，TT玩加官网网罗上千款优质手游，充值折扣低至3折，还有海量礼包等你来拿
ePower企服引擎是第一商务推出的企业服务引擎系统，集成商标、域名、云服务、官网建站等全方位互联网业务服务。
据站长DNSAdmin爆料，CNNIC向西部数码发布通知称，内测的CN域名WHOIS隐私保护服务即将暂停免费政策，继续使用将收取相应服务费用，价格为48元，个，年，除此之外，服务到期前如更换域名持有者，需先关闭服务，关闭后服务终止且不退费，重新开启需另外收费，以及，若域名提交转出，转移完成后，域名所设置的隐私保护服务即时终止，这给本就...。
域名，是一个网站最重要的符号，现在，更是一个公司的品牌，com域名，更是土豪域名，全球知名的互联网公司网站都是com域名为主，中国互联网公司的快速发展，都纷纷大手笔购买com域名，一个com域名一个亿，今天，行者就为大家分享中国互联网公司高价购买的域名，腾讯qq.com购买价格，1000万人民币腾讯，中国市值最高的互联网公司，QQ的品...。
Bitcoin.org这个网站已经存在10年之久，10年前，比特币的首批开发者中本聪和MarttiMalmi申请了这个域名，这个币圈最知名的域名是在2008年注册的，从时间上看，略早于10月31日发布的比特币白皮书，中本聪的，遗产，尽管比特币创造者的身份依然是个谜，但ta在退出这一项目之前已经做足了准备工作，以确保这个网站的去中心化所...。
2017年6月5日，苹果在WWDC大会上宣布了内置Siri的一款智能音箱，并命名之为HomePod，这款音质更好的产品本来的发售时间是2017年底；然而令人感到意外的是，苹果跳票了，将发售时间改在了2018年初，如今已然是2018年初，而HomePod也终于来了，HomePod即将开售1月23日，苹果公司在官网宣布，HomePod将在...。
对于汽车供应链企业来说，降本增效是今年一个无法回避的话题，国产车载芯片目前在国内市场的占有率依然很低，市占率百分比仅个位数，但市场，已经卷了起来，恩智浦、英飞凌、瑞萨等国际大厂在今年三季度的收入和利润实现双增长，这更加对国产车载芯片企业的生存造成了压力，如何在激烈的竞争中找到出路，在严苛的成本要求下获得利润，国芯科技总经理肖佐楠在于雷...。
随着疫情的爆发，OMO模式忽如一夜春风来，成为了教育行业的普遍共识，中小学全部停课，全国数百万传统教师变身，主播，，钉钉、腾讯课堂等直播工具轮番上场；巨头们推出免费线上课，开放直播平台；线下机构被迫停摆，为了，活下去，，不得不暂时将课程转移到线上……疫情期间，教学在线化势不可挡，教育行业上演了一场，生死时速，开年大戏，不论是头部机构，...。
发表在综合交流大区2022，11，2215，192022世界杯比赛已经在11月21日拉开帷幕，抖音作为央视体育频道的战略合作伙伴，今年也提供了观看世界杯直播的通道，覆盖了28天的全部赛程的免费超清4K直播，有的朋友想在投影大屏观赛，可能比较关注怎么用抖音来看世界杯直播，以及抖音世界杯投屏怎么弄的问题，接下来就针对苹果手机和安卓手机的不...。
发表在天猫魔屏2022，8，3110，19天猫魔屏Q2是一款便携式投影仪，有着不错的性能配置，具体天猫魔屏Q2投影仪的实际使用效果如何呢，下面就通过真实用户的实测体验了解这款投影仪，看看天猫魔屏Q2是否值得入手，天猫魔屏Q2投影仪使用评测，1.有了这台小小的投影仪，我每次出差都带着它，用它看电视比酒店电视要好多了，不仅内置的节目丰富，...。
外地期间9月5日，俄罗斯总统普京在西方经济论坛整体会议上笑称，俄罗斯将依照美国现任总统拜登的介绍，在美国总统选举中允许独裁党候选人卡玛拉·哈里斯，对此，美国共和党总统候选人特朗普今天回应称，不确定自己，被羞辱了，还是他帮了我的忙，特朗普和普京资料图视觉中国据，今天俄罗斯，RT，报道，外地期间9月5日，在纽约经济俱乐部的优惠中，特朗...。
荣耀7i手机很不错，参数如下，1、屏幕，屏幕尺寸5.2英寸，屏幕色调1600万色，看电影愈加酣畅，2、相机，后置摄像头1300万像素，可旋转，，拍照愈加细腻，愈加明晰，3、功能，驳回EMUI3.1，基于Android5.1，系统，搭载QualcommMSM8939，八核解决器，带来高速、流利的体验，4、电池，装备3100mAh，典型值...。
鞍山租车网，有QQ群的鞍山科大左近的日租房，科技大学对面的永缙学府是刚刚开的楼盘，应该有很多人在那里买房来投资出租，去那看看，鞍山二台子什么中央有卖二手水族箱的，我当天去找了一圈都没看到，去去过的没，给指条明路！！！多谢！卖旧家电之类的物品区大西街，大西街有很多卖旧家电的门点，在人民路北侧，你也可以在鞍山赶集网上买，赶集网上有卖二手水...。
飞利浦USB蓝牙适配器驱动是一款专为该蓝牙适配器所推出的驱动安装程序。通过在电脑上安装该驱动，就能够完美连接电脑、手机和蓝牙设备，支持Win7/8/10的32位/64位操作系统，让用户使用操作更加方便。功能特点1、CSR蓝牙原厂驱动管理软件CSRHarmony。2、支持64位/32位windowsxp/win7/win8/8/1系统。3、支持20米的超长传输距离。4、信号稳定且功耗低，支持双模式信号传输。常见问题
华为好比一所学校，每个人都会从这里毕业，只是一个早一个晚，从正儿八经的考虑离职到决定离职再到确定LastDay，一晃大半年过去了，现在还有两天就要离开公司了，有些不舍，有些恍惚，只是自己觉得，应该要离开了，逃离也好，为了梦想也罢，总该要走了，1、进了华为，直到离开，华为都是一家好公司07年应届硕士进公司，一晃都快12年了，我不是通讯电...。
今日融资快报AI法律公司Clio完成F轮9亿美元融资AI法律科技公司Clio宣布完成F轮9亿美元融资，估值达到30亿美元，Clio的正式名称为ThemisSolutionsInc.，销售律师事务所用来管理其业务运营的一套云应用程序，旗下产品ClioAccounting是一款应用程序，可帮助律师事务所的财务团队更高效地开展日常工作，Cl...。
硅谷遇上纸牌屋FacebookCEO扎克伯格考虑进军政坛FacebookCEO扎克伯格，MarkZuckerberg，可能考虑进军政坛，据媒体获得的一份法院文件，Zuckerberg希望能在保持对Facebook控制权的前提下，从Facebook离职两年，担任公职，今年早些时候，Zuckerberg希望将Facebook股票一拆三，创...。
极氪汽车被曝不诚信，遭车主大量投诉近日，车质网出现大量关于极氪001的投诉，投诉原因几乎均为，极氪厂家单方面篡改购车协议内容，最近30天中，关于极氪001的投诉多达350多条，位居车质网投诉榜榜首，据投诉车主介绍，他于去年12月份缴纳5000元定金订购极氪001，诱因是极氪销售宣传年底之前下定可锁定极氪001全系终身质保及国补兜底权...。
5月18日，腾讯发布2022年第一季度业绩报告，其中，金融科技及企业服务，单季收入428亿元，占总营收32%，财报指出，腾讯ToB业务主动调整收入结构，放弃了部分亏损订单，同时，在视频云、网络安全等PaaS领域加大资源投入，去年此时的腾讯云与智慧事业产业群，CSIG，，正好完成新一轮战略调整，确定了深耕行业、深耕区域、提升效率三大方向...。
