以大模型视角看待一切机器人问题丨GAIR live 对话武汉大学李淼教授 (以大模型视角的游戏)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。
这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。
我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
当机器人遇上大模型
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；
同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>（欢迎添加微信icedaguniang，交流认知，互通有无。）
GAIR live 圆桌预告
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using LargeLanguage Models to Improve Reliability
IJAIRR正在邀约论文和专题
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。IJAIRR欢迎各类研究论文、评论文章、短篇论文、书评以及专题（Special Issue）形式的投稿。我们特别关注那些在顶级AI会议上发表并现场展示，但缺乏长期沉淀平台的优秀论文。为了给这些论文及其作者提供一个更广泛的发表和推广渠道，IJAIRR现正积极邀约相关论文投稿。如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。
联系人：
IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/8604acf334a8ea377e04.html
爱站网站长工具提供网站收录查询和站长查询以及百度权重值查询等多个站长工具，免费查询各种工具，包括有关键词排名查询，百度收录查询等。
巨量优品，主要服务功能为精准搜款，一件代发，爆款推荐，一键上货到拼多多，淘宝，阿里巴巴，抖音，快手，小红书，虾皮，京东方便电商上货找款，以及实体商家进货。
广州到上海物流公司,广州到上海物流专线,专业从事广州汽车托运,广州物流托运,广州货运物流,拥有辐射全国大部分城市的零担拼车直达专线业务。
梭猫云,梭猫云资源网,梭猫云解析,资源网,娱乐网,资源站,资讯网,活动资讯,软件下载,网站源码,小程序源码
乐清市铭瀚电子有限公司
化妆培训平台汇集全国化妆培训班,化妆培训学校,化妆师培训学校,美容化妆培训学校等化妆培训机构,提供化妆师培训,半永久化妆培训,化妆美甲培训,化妆造型培训,新娘化妆培训等美容化妆培训服务.
苏州妙算财税咨询管理有限公司提供公司注册,代理记账,公司变更,商标专利,税务筹划,企业注销,资质代办等服务！
成人学历提升培训
坤诚盛达(天津)建材科技有限公司是一家专注于彩石金属瓦生产、销售、安装、售后的企业。
懋富集团
荆州市万国保安服务有限公司2009年4月25日注册成立，拥有一批退伍军人和保安工作经验的人力资源，随时为您提供安全技术服务，公司人力资源丰富、技术实力雄厚，现有一二级保安师、省级优秀保安教官、人力资源管理师、物业管理员等职称人员数十名，全员持证上岗。
微信公众智能服务平台，八大微体系：微菜单、微官网、微会员、微活动、微商城、微推送、微服务、微统计，企业微营销必备。
首先，一分钟来了解征程5系列芯片的8个亮点，以下是正文，这款芯片的性能将超越特斯拉FSD芯片，十个月前，地平线创始人兼CEO余凯就已经对征程5信心满满，如今，这款芯片真的来了，7月29日，地平线在发布会上正式推出了预热已久的征程5系列芯片；基于此，全场景整车智能中央计算平台Matrix®5和Matrix®SuperDrive超级驾...。
相互宝即将关停，用户不再参与分摊12月28日，相互宝发布公告表示，相互宝发布公告表示，为更长远保护所有成员权益，经过慎重思考和讨论，将于2022年1月28日24时停止运行，相互宝公告显示，自公告之日起，成员不再参与互助分摊，原定于公告日扣款的分摊金及2022年1月的两期分摊金，全部由相互宝平台承担，为了更好地保障相互宝成员权益，相互宝...。
新华社北京7月21日电对于，中共中央对于进一步片面深化革新、推进中国式现代化的选择，的说明习近平同志们，受中央政治局委托，我就，中共中央对于进一步片面深化革新、推进中国式现代化的选择，起草的无关状况向全会作说明，一、对于确定全会议题的思考围绕党的中心义务策动和部署革新，是党指导革新开明的成功阅历，从通常阅历和事实须要登程，中央政治局选...。
蕴含巨蟹座、天蝎座、双鱼座三大星座，水象星座的感官愿望简直和土象星座一样剧烈，不过，相较于土象星座，他们比拟能人造表露；可是要谨防适度或太过奢求，水象星座都有哪几个星座水象星座都有，巨蟹座，天蝎座，双鱼座，1、巨蟹座2、天蝎座3、双鱼座双鱼座，日期，02月20日～03月20日，——双鱼座的符号象徵两条鱼，而其中有一条丝带将它们连系在一...。
碳化硅微粉消费工艺流程2009，2，9起源，中国矿冶设施网一种碳化硅微粉的消费工艺，其特色在于，其步骤如下，1，取碳化硅原料，经破碎机中碎，并筛分至不大于5mm的碳化硅颗粒，再用整形机对其启动整形至不大于2mm的碳化硅颗粒，且其中椭圆形颗粒占80％以上，再对其启动酸洗除杂，枯燥；，2，将上述枯燥后的碳化硅颗粒用磨粉机粉碎成d50＝9...。
作为一款上流SUVMPV，丰田埃尔法不时备受咱们生产者们的追捧，那么作为一款这样顶级车型，它又要多少钱才干将其驾驭呢，在国际市场中，丰田埃尔法只要一个版本，即2.5L奢侈版，其多少钱为59.9万，其中，这款车的长宽高区分为4915mm*1850mm*1890mm，轴距为3000mm，车辆的最小离地间隙为165mm，所以，其外观设计确实...。
海马苹果助手片面允许iOS软件、游戏、壁纸、铃声、电影下载装置和治理，界面繁复、操作流利、下载飞速，，贴心的防下载终止配置，ios无需越狱，无需AppleID，终身收费下载装置海量正版资源运行，笼罩电信、联通、移动三大高速网络，让您的下载如迅雷不及掩耳！下载地址，海马苹果助手在没有越狱的苹果手机上用会有病毒吗不会，海马助手是国际不越狱...。
2023年度重庆市人力资源和社会保障局“第三季度新闻发布会”
柯尼卡美能达6180e打印机驱动是柯尼卡美能达PagePro6180e型号打印机的官方驱动软件，如果用户所使用的打印机型号是柯尼卡美能达6180e，则需要安装对应驱动，有需要的可以下载使用。基本简介产品类型：A3黑白多功能一体机产品功能：打印/扫描/复印打印分辨率：600600dpi打印尺寸：A3打印速度：16页/分内存：32MB接口：USB2.0硬件ID：【打印】USBPRINT\Generic16BW-7A17C【扫描】US
公司基本面分析，APP数据分析有哪些工具？有哪些最靠谱的平台或者渠道？1.友盟统计工具由友盟、CNZZ、互联网数据三家国内大数据公司合并而成。我应该使用哪个APP数据分析工具？比较靠谱的平台和渠道是线上平台，data分析平台，天眼潮平台，还有一些app，还有专业公司，data分析公司和阿里巴巴数据公司。1、目前最有效的App推广渠道有哪些网络推广和付费广告网络推广是利用互联网进行宣传的常用方法，如社区互动、通过贴吧发帖、微博博客、QQ群营销、自媒体包装等。有很多付费广告可以选择。目前很多App软件商店，如
孙菲菲被霸凌事件波及6人，王阳道歉，知名导演被扒，真相不简单,老狼,姚远,李少红,赵丽颖,张艺谋,老戏骨,霸凌事件,王阳(演员),孙菲菲(模特儿)
相当无聊且可玩性不高的肉鸽游戏，画面只是包装，再好的画面搭配上几乎没有深度的玩法设计，依旧难以让玩家买单。
随着市场的发展，美容、美发店需要的人才，也从只会埋头苦干的听话型转变为品德好、技术精的高素质型，因此，美容、美发店对于店员的素质要求必须明确，1，注重店员个人形象，保持合格仪容、仪表，谈吐高雅，礼貌待客，2，女店员上班必须穿工衣、涂口红、剪指甲，不得配戴手部饰物，勤洗头，注意个人形象卫生，3，各级店员应遵守各级主管的工作安排，工...。
当下国内芯片行业的火爆程度可见一斑，国内GPU初创公司如雨后春笋般陆续成立，，对标英伟达，是必备词汇；阿里、百度、字节等互联网大厂纷纷跨界，造芯，，手机厂商紧跟投资布局半导体产业链；再看科创板市值前十强，半导体公司占据半壁江山……芯片行业似乎正在成为一个风口，曾经站在互联网风口上分食一杯羹的速成培训班从软件编程转向芯片，从市场需求的角...。
孤陈的城市在长夜中埋葬他们记忆着最美丽的皇后飘零在西落的太阳下要先做一场梦，我们并不知道微软人工智能机器人小冰是不是在一个夕阳西下的时刻，，写，下了这首诗，但我们知道的是，会写诗的AI背后，一定有一些专注人工智能的研究者，清华大学计算机科学与技术系教授孙茂松就是这样一个这样专注于研究自然语言理解、中文信息处理和Web智能的学者，自2...。
后妈送11岁继女讨好70岁情夫，这个新闻再爆出以后，受到全社会的广泛关注，大家都在分析这个问题做产生的原因，以及他所带来的社会影响，还有受害的女孩，后续的一些情况，近些年来，离婚率越来越高，很多夫妻在有了孩子以后因为感情问题就选择了离婚，离婚以后，孩子或是归男方抚养，或是归女方抚养，总之，不能享受一个完整家庭给予的关爱，还有一部分父母...。
