对话武汉大学李淼教授 以大模型视角看待一切机器人问题丨GAIR live (武汉大学采访)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；
另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
01 从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。
瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。
这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。
甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。
机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。
要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。
无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。
这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。
我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。
不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。
以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。
我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。
本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。
作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。
如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。
如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。
如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。
IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。图片
联系人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/a9b0b5bc08413721deca.html
《军武零距离》是一档周播的特别节目，节目时长27分钟，采用4K超高清技术拍摄，主要通过记者“零距离”探访我国重点武器装备、探秘国防工业领域前沿技术、体验军营生活为主要内容，展现我国国防力量发展成果，普及国防军事相关知识，传播军事文化。
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
杭州玛莉亚妇产医院【18268857261】杭州妇产科医院-哪家好/无痛人流费用,杭州地区女性朋友提供专业的杭州人流,药物流程等妇科问题挂号服务,杭州人流医院技术精准,欢迎联系我们进行咨询.
江瑞（北京）财税管理咨询有限公司专业为客户提供专业化企业财税管理解决方案，包括北京公司注册、税务规划、北京代理记账、高新认证等，服务专业，性价比高，欢迎免费预约。
江苏浩森国际贸易有限公司是瑞典品牌Simson/森山液压千斤顶,德国品牌Auras/欧德斯潜水泵在中国的代理商,致力于为各行各业提供优质和可靠的工具和设备(液压千斤顶、潜水泵等),我们认为只有先进的生产工具才能创造出优秀的产品,服务和价值.
江苏鼎驰新材料科技有限公司专业生产管井门,蜂窝板,蜂窝铝板,铝蜂窝地板,蜂窝板装饰板,蜂窝板材料并提供蜂窝板设计，蜂窝板安装，蜂窝铝板施工维护的一站式服务.在全国设立了上海蜂窝板,苏州蜂窝板,无锡蜂窝板等地区蜂窝板销售处,以便为客户提供更加优质的服务.
赵小飞旋转小火锅品牌近年来在市场上表现出色，是鸡西旋转小火锅加盟,旋转小火锅品牌,鸡西小火锅加盟,鸡西旋转小火锅品牌得好选择，其独特的餐饮形式深受年轻消费者的喜爱。
吉林省科维水泥制品公司为您提供一体性排水沟,吉林一体性排水沟,长春一体性排水沟,吉林一体性树脂排水沟,长春一体性树脂排水沟,吉林树脂排水沟,吉林成品排水沟,长春线性排水沟,长春树脂排水沟,长春成品排水沟,一体性排水沟生产厂家,树脂排水沟生产厂家,,质量上乘,技术领先,全方位服务！
西宁相亲服务中心（西宁相亲网、西宁婚恋网、西宁征婚网）是西宁地区大型的免费相亲服务平台，为西宁地区的60后、70后、80后、90后、00后等西宁单身朋友、离异朋友提供专业的西宁征婚相亲服务。西宁相亲服务中心始终坚持以改善西宁相亲服务功能和提高西宁相亲用户服务体验为宗旨，提供科学、高效的西宁相亲服务，帮助西宁地区真心寻找朋友和终身伴侣的人士实现和谐相亲，西宁相亲服务中心得到了西宁广大相亲会员的热烈拥护和赞赏。
雨田进销存软件,云进销存，是基于互联网操作的进销存管理软件，使用浏览器即可实现异地、实时业务办理。老板随时能够对客户资源、销售情况、采购情况，库存存货情况，做到了如指掌。
“解健康密码，行济世养生”，健码制药（广东）有限公司致力于运用科技力量，调理人们的精气神，最终达到最佳健康状态，实现全民健康
左右挪动砖块的消除游戏因更新的时间快，占据内从小受到了不少玩家的偏爱，今天小编将给大家带来2023年火热的消除游戏排行榜，它们具有十分丰富的玩法，且主题多种多样，具有较强的休闲作用，非常值得尝试，这几款游戏把消除和模拟养成多种玩法集合在一起，具有超高的自由度值得玩家发挥，搭配左右移动方块的模式，任何人都可以实现快速的消除，宾果消消乐作...。
很多玩家喜欢玩经营类、养成类的游戏，但是又不知道有哪些，那么好玩的经营类单机游戏有哪些呢，因为很多玩家对大型的射击砍杀类游戏并不感冒，只想玩一些轻松的休闲的小独立游戏，这样的话经营类的单机游戏就很适合他们的，小编推荐了几款非常轻松又好玩的经营类游戏，一起来看看，1、，小镇大厨，这是一款玩家在里面扮演厨师的单机经营类手游，玩家需要在自己...。
数据研究公司DataReportal发布了关于TikTok社交网络用户数量的调查报告，在TikTok的全球月活跃用户，MAU，最多的10个国家中，有6个来自中国以外的市场，这些市场的总用户数达到了2.23亿，具体来说，TikTok在泰国、美国、越南、巴西、墨西哥这五个国家的MAU排名均位列前五，泰国是世界上TikTok使用率最高的国家...。
雷锋网按，本文作者知乎NardinMarcus，关注VR，AR领域，从事VR，AR市场研究工作，还是从VR的基本特性讲起，VR的三大特性——沉浸感、交互性、想象性，其中影响沉浸感和交互性的重要技术是VR的输入技术，今天我们就来谈谈VR输入技术，VR输入设备如动作捕捉、手势识别、声音感知等体感类设备，主要用来输入消费者动作数据，达成互动...。
代码说明，本页面的认证代码为2345星球联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在2345星球联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提...。
营养早餐也是健康的关键，经过合理营养和平衡膳食的调节，从食物中摄入、消化、吸收、代谢和利用机体所需物质，即满足自身生长发育和维持生命活动，又全面加强人体营养水平，提高人体抵抗力、免疫力和应激能力，也是保护人体健康的一种手段，...。
过去的五六年间，AI芯片算力大幅提升，借助大量数据对深度学习算法的训练，AI开始在有明确业务需求的市场推广，同时也吸引了大批的入局者，但统计数据显示，中国拥有超过2200家AI创新创业公司，有三分之二成立时间不到五年，这些新创企业，不仅需要大量资金支持，更需要技术、生态、市场等全方位的扶植，未来，要推动AI进一步渗透到更多应用市场，在...。
1.老庙999足金的价格波动可能会受到市场因素的影响，去年购买的1克左右的素圈戒指，在近期市场上大致的售价为390元左右每克，2.当考虑出售这类金饰时，回收价格会根据金店的折旧政策而有所不同，通常，回收价格会有一定的折扣，某些店铺可能会提供大约85%的折旧后价格作为回收价值，3.如果您考虑将旧戒指更换为新饰品，某些珠宝店提供的以旧换新...。
据，三峡人家景色区，官微信息，9月28日，宜昌三峡人家文明旅行开展有限公司发布状况通报，2024年9月7日19点40分，我公司艺术团员工吴杰林在加入排演时突感头晕，继而呕吐，公司迅速启动应急接济预案，经常使用公司应急船、应急车辆和医院救护车接力将其送至夷陵医院救治，经医院CT审核，确诊为脑动态脉畸形分裂伴蛛网膜下腔出血；右侧额叶脑出血...。
全新马自达CX，5以其大概22万多的落地价，为生产者带来了一款兼具优雅与力气的紧凑型SUV，从外观设计到内饰性能，都充沛展现了马自达对汽车工艺的精深技能和共同审美，外观方面，马自达CX，5驳回充溢生机和共性的白色和彩色为主颜色，全体外型年轻且富裕张力，前脸局部，多边形密集的车网栅向内凸起，营建出剧烈的视觉冲击力，全LED大灯透视感十足...。
科迈罗Camaro是一款备受欢迎的车型，其魅力源自诸多难以顺从的好处，科迈罗Camaro的外观设计给人留下深入印象，无论是正面、正面还是车尾，它都分收回剧烈视觉冲击的风采，其共同的线条和流利的车身设计让它在泛滥车款中自成一家，它那醒目标轮毂设计和静止化的外观套件，进一步强化了其静止气息，在能源方面，科迈罗Camaro的体现让人惊叹，虽...。
清晨物业通知挪车，结果车库的挡水板被拆，清晨4点车库里水淹顶，7月2日，自称安徽省合肥市瑶海区海尔公馆的业主发视频，反映有人为了自家店铺不被淹，拆了小区公开车库的挡水板，造成车库被淹，事件假相究竟如何，华商报微风资讯记者采访了关系方面，了解到车库进水是洪灾造成，并非人为形成，>，>，>，暴雨引发河水倒灌河道边小区地势低...。
从腾讯云官方获悉，2024年腾讯云合作伙伴贡献收入占腾讯云大盘的比例已经超过1，3，而该大盘收入指，腾讯云纯对外的收入，合作伙伴收入包括代理商、ISV等合作伙伴类型，意料之中，PaaS、SaaS依然增速喜人腾讯云渠道去年的收入来自于哪，如果从产品类型上看，Iaas收入仍是占大头，但Iaas的增速是要比PaaS、SaaS要慢，Ia...。
饮品行业的发展想必大家都是了解的，因此不少创业者看到了这当中的商机，纷纷想要加盟一个饮品品牌，但是不知道选择什么品牌加盟是比较好的，下面小编就为大家介绍一下加盟饮品饮品排行榜的大致情况介绍，一起跟随小编往下看看吧，1、放牛斑奶茶在行业里有一定的名气，放牛斑奶茶为了确保产品的质量，因此严格甄选原料，为消费者提供健康营养的好奶茶，如今，品...。
随着，人工智能，作为重要发展导向被国家正式列入，十三五，国家战略性新兴产业发展规划，、，十三五，国家科技创新规划，，习近平总书记提出推进新一代人工智能健康发展的重要政策指导，人工智能行业在国内迎来集中研究兴盛期，而在这一大时代下，今天我们有幸请到了AI独角兽企业深兰科技集团深度学习科学家方林博士，为我们揭秘人工智能领域的领先科技及...。
作者，李浩然、陆巍本文提出了一个新的损失函数，混合交叉熵损失，，用于替代在机器翻译的两种训练方式，TeacherForcing和ScheduledSampling，里常用的交叉熵损失函数，CE，，计算开销基本和标准的CE持平，并且在多个翻译数据的多种测试集上表现优于CE，这篇文章我们简要介绍MixedCE的背景和一些主要的实验结果，...。
火锅是时下餐饮市场上的加盟热点，其中旋转小火锅的发展在近几年异常迅猛，不仅深受消费者的喜爱，同时也获得了大多智慧之选商的认可，旋转小火锅是自助式的，满足了现代人对新颖时尚的追求，而加盟旋转小火锅主要的设备智慧之选便是旋转机了，但你知道多少钱吗，本文，将会对旋转小火锅设备价格做详细的介绍，与传统的火锅相比，旋转小火锅有很多优势，一、自助...。
