李飞飞团队再造黑科技！机器人自学家务样样精通 开源代码了解一下 (李飞飞 团队)
倒茶、叠衣服、整理书籍、丢废品，现在的家务机器人干活真是越来越熟练了。
不过，也不是每个家务机器人都能做到像动图里那么流畅的。
熟练家务的背后，是李飞飞团队琢磨出来的一种新办法。
他们把任务动作拆解后标记出几个关键点，再给到具体规则让机器人知道这些点之间有什么联系，要怎么操作比较好。除此之外，机器人还能自主学习，越练习越厉害。
以倒茶这个动作为例，机器人会先用摄像头确定茶杯茶壶等的位置、形状等要素，再识别出关键点，比如茶杯的中心点和把手的中心点，ReKep 会给机器人编写出一系列规则，告诉它要用什么角度、怎么拿怎么倾倒、用多大力气等，机器人只要按照规则行动就能成功倒茶了。
不得不说，这么一个简单的动作想让机器人做好是真的是太难了。要是没有 ReKep 技术，想看到机器人熟练地干各种家务活还不知道要等到猴年马月。
毕竟今年三月份的时候，李飞飞团队的家务机器人还是这样的，只会擦擦桌子切个水果：
而半年后的今天，就已经进化成全能选手了：
目前，李飞飞团队关于 ReKep 技术的论文已在 arXiv 公开，代码也已开源。
论文标题：ReKep: Spatio-TEMPoral Reasoning of Relational Keypoint Constraints for Robotic Manipulation
论文地址：
项目网站：
项目代码：github.com/huangwl18/ReKep
论文概述
研究问题和动机
李飞飞团队旨在解决与机器人操作任务相关的挑战，这些任务涉及多个空间关系和时间依赖阶段，需要对复杂的空间和时间关系进行编码。
他们希望开发一个广泛适用的框架，能够适应需要多阶段、野外环境、双手操作和反应行为的任务，通过基础模型的进展在获取约束方面具有可扩展性，并能够实时优化以产生复杂的操作行为。
难点与挑战
现有的使用刚体变换表示操作任务约束的方法缺乏几何细节，要求预定义的物体模型，并且无法处理可变形物体。
在视觉空间中直接学习约束的数据驱动方法也在收集训练数据时面临挑战，因为约束的数量在物体和任务方面呈组合增长。
技术创新
李飞飞团队提出了一种名为关系关键点约束（ReKep）的方法，用于机器人操作。
ReKep 将操作任务编码为约束，连接机器人与其环境，而无需手动标注。该方法利用Python函数将一组语义上有意义的三维关键点映射为数值成本，从而能够表示复杂的空间和时间关系。
该框架旨在通过大型视觉模型和视觉-语言模型自动生成约束，实现从自然语言指令和RGB-D观测中高效地指定任务。
他们还提出了一种算法实例，可以实时高效地解决优化问题。
真实实验
实验涉及多个任务，包括倒茶、回收罐、整理书籍、打包盒子、折叠衣物、装鞋盒和协作折叠等。这些任务被设计来测试系统在不同方面的性能，如空间和时间依赖性、对环境的适应性、双手协调和与人类的互动。
轮式单臂平台和固定式双臂平台的成功率
两个机器人平台在外部干扰下的成功率
ReKep 用于折叠不同类别服装的新型双臂策略及其成功率
实验结果显示，ReKep在多种任务上的成功率较高，证明了其在自动化操控任务中的潜力。成功率根据任务的不同而有所差异，但总体上表现良好。
技术解读
关系关键点约束（ReKep）
首先，他们定义了单个ReKep实例，并且假设已经指定了一组 ? 个关键点。每个关键点 ??∈ℝ3 指的是场景表面上的一个 3D 点，其坐标依赖于任务语义和环境（例如，手柄上的抓取点，壶嘴）。
本质上来说，一个 ReKep 实例编码了关键点之间的一个期望的空间关系，这些关系可能属于机器人手臂、物体部分或其他代理。
然而，一个操作任务通常涉及多个空间关系，并且可能具有多个时间上依赖的阶段，每个阶段都涉及不同的空间关系。为此，他们将任务分解为 ? 个阶段，并为每个阶段 ?∈{1,…,?} 使用 ReKep 来指定两类约束：
其中 ?sub-goal (?) 编码阶段 ? 结束时需要达到的关键点关系，而 ?path (?) 编码阶段 ? 内部需要满足的关键点关系。
如下图所示的倾倒任务由三个阶段组成：抓取、对齐和倾倒。
阶段 1 的子目标约束拉动末端执行器向茶壶手柄靠近。阶段 2 的子目标约束指定壶嘴需要位于杯口上方，阶段 2 的路径约束确保茶壶直立，以避免倾倒时溢出。最后，阶段 3 的子目标约束指定倾倒角度。
操纵任务作为ReKep约束优化问题
他们将末端执行器姿态表示为 e∈ SE（3），将操控任务表述为一个优化问题，目标是找到一系列满足ReKep约束的末端执行器（end-effector）姿态，并将控制问题表述如下：
对于每个阶段，优化算法需要找到满足子目标约束的末端执行器姿态，以及实现这些子目标的路径。
分解与算法即时实例化
为了实时求解优化问题，他们采用了分解方法，仅优化下一个子目标及其对应的路径。
关键点提议和ReKep生成
为了使系统能够在给定自由形式任务指令的情况下执行野外任务，他们设计了一个使用大型视觉模型和视觉语言模型进行关键点提议和ReKep生成的管道，并分成了两个部分：
关键点提议
使用大型视觉模型（LVM），如DINOv2，来提取场景中的特征，并利用这些特征来识别潜在的关键点。这些关键点通常是场景中具有语义意义的3D点，例如物体的边缘、角落或特定物体部分的中心。
ReKep生成
结合关键点和任务指令，使用视觉-语言模型（VLM）来生成ReKep，这些约束将用于指导机器人的动作规划和执行。这一步骤利用了视觉模型对场景的理解以及语言模型对指令的解释能力。
团队成员
李飞飞
李飞飞博士是斯坦福大学计算机科学系首任红杉教授，也是斯坦福以人为本的人工智能研究所的联席主任，曾担任担任谷歌副总裁和首席科学家，在多家上市公司或私营公司担任董事会成员或顾问。
李飞飞主导的斯坦福AI实验室、斯坦福视觉与学习实验室(SVL)和斯坦福以人为本人工智能研究院涌现出大量优秀人才，包括 OpenAI 联合创始人 Andrej Karpathy、国内内第一个坚探索具身智能的卢策吾、前google AI中国中心总裁李佳、前阿里自动驾驶掌舵人王刚等。
她目前的研究兴趣包括认知启发式人工智能、机器学习、深度学习、计算机视觉、机器人学习和人工智能+医疗，尤其是用于医疗保健的环境智能系统。
Wenlong Huang
Wenlong Huang 是斯坦福大学计算机科学专业的博士生，由李飞飞指导，也是斯坦福视觉与学习实验室 （SVL）的成员。他于 2018 年获得加州大学伯克利分校计算机科学学士学位，指导老师是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。
他的研究目标是赋予机器人广泛的泛化能力，使其能够执行开放世界操控任务，尤其是在家庭环境中。研究兴趣包括：
开发能够充分利用互联网规模数据或基于这些数据进行训练的模型的抽象概念
开发能够表现出广泛泛化行为的运动技能
Chen Wang（王辰）
Chen Wang是斯坦福计算机科学学院的博士生，导师是李飞飞和 C. Karen Liu。他本科就读于上海交通大学计算机科学专业，是第一批加入卢策吾团队研究机器人具身智能的学生之一。
他的研究目标是制造出具有与人类一样的灵活性和处理日常任务能力的机器人，因此专注于机器人学习，以实现灵巧操作、模仿人类动作以及长期规划和控制。
Yunzhu Li现在是哥伦比亚大学计算机科学助理教授，曾是斯坦福视觉与学习实验室 (SVL）的博士后，与李飞飞、Jiajun Wu 一起工作。北京大学本科毕业后，他在麻省理工学院计算机科学与人工智能实验室（CSAIL）获得博士学位，导师是 Antonio Torralba 和 Russ Tedrake。
目前他在机器人感知、交互和学习实验室（RoboPIL）进行机器人技术、计算机视觉和机器学习的交叉研究，专注于机器人学习，特别是直观物理学、具身智能、多模式感知三个方向，旨在显著扩展机器人的感知和物理交互能力。
Ruohan Zhang
Ruohan Zhang是斯坦福视觉与学习实验室 (SVL)的研究员，和李飞飞、Jiajun Wu、Silvio Savarese 一起工作。他曾在在德克萨斯大学奥斯汀分校获得博士学位，指导教授是 Dana Ballard 和 Mary Hayhoe。
他的长期研究兴趣是以人为本的人工智能：理解人类智能以开发受生物启发的人工智能算法，以及使人工智能与人类更加兼容。最近专注于以人为本的机器人技术：通过数据驱动的方法开发可增强人类福祉的机器人解决方案（系统和算法）。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： http://www.gpxz.com/article/02a896c96957edad2fa5.html
书画家百科是一部内容开放、自由的网络书画百科全书。无门槛收录全球书画家信息，收录包括：个人简介，作品展示，荣誉展示，名家点评，参考资料，联系方式等。为书画爱好者及收藏者提供最全面的信息指引及参考。
河北至上机械设备有限公司生产齿轮油泵,导热油泵,不锈钢泵,不锈钢齿轮油泵,高温齿轮油泵等产品，咨询热线：17732485655
无锡网科软件专业开发各类微信公众号,微商城,报名/预约/扫码点餐/社群电商小程序,苹果安卓APP软件,H5页面,物联网系统及网络应用软件外包,深度定制,满足个人企业智慧政府需求,多年行业经验,众多成功案例!
AcFun是国内首家弹幕视频网站，这里有全网独家动漫新番，友好的弹幕氛围，有趣的UP主，好玩有科技感的虚拟偶像，年轻人都在用。
江来好(重庆)食品有限公司（以下简称江来好）成立于2020年，是一家集“研发、生产、销售”于一体的现代化食品企业。
广州和谐医院好吗？广州和谐医院是广州市医保定点单位，围绕神经修复学领域的新进展进行广泛交流，以当今国际先进的治疗理念为基础，集神经内、外科、神经功能康复科为一体。专业治疗帕金森,脑萎缩,脑出脑梗塞后遗症,血后遗症,臂丛神经损伤,周围神经损伤帕金森,老年痴呆症,阿尔茨海默症,肌萎缩性侧索硬化症,运动神经元病,半身不遂等神经内科疾病。
种子网-天鸿种子网-辣椒种子,花卉种子，花菜种子，蔬菜种子，水稻种子，玉米种子，武汉种子交易会，广州种子交易会，中国种业门户，种业，400-600-1611，湖北种子
临沂恒源包装有限公司咨询热线:151-0666-3393本公司主营免熏蒸托盘,二手塑料托盘,出口托盘加工,木托盘厂家,出口包装箱,包装箱厂家,二手木托盘等产品，质量可靠，售后有保障，欢迎前来咨询！
迪仔鹅(广州)餐饮管理有限公司是一家综合的餐饮公司，总部设在美丽花城广州市，公司创始人凭借经营餐饮行业4O多年的经验，推出具有潮汕特色的《鲜黄牛肉火锅》，《手打牛肉丸》《潮汕正宗卤水》《鲜黄牛杂煲》等加盟项目。
本站主推为1.80传奇玩家提供每日最新的新开传奇1.80私服游戏信息,汇集众多GM提供关于1.80合击传奇和1.80英雄合击的相关玩法和游戏攻略,严格把关每个1.80传奇私服发布网的版本质量,是1.80传奇sf经典找服平台!
青海午阳环保设备有限公司是一家集布袋除尘器,矿山除尘器,锅炉除尘器,催化燃烧设备,除尘配件等产品的定制、生产、安装、售后为一体的企业，多年来我们不断引进高新生产设备和技术，为我国的环保事业做出自己的贡献。
舟山市宏洲船舶修造有限责任公司
儿童主题乐园现在在孩子的生活中不可缺少，也有很多朋友更能看好这样项目的市场前景，市场也有一些不错的品牌，在经营方向做的很成熟，也能供很多创业者选择，嘻哈乐儿童主题乐园就是很不错的品牌，环境让家长满意，加盟嘻哈乐儿童主题乐园怎么样，费用多吗，想要进一步了解的朋友，可以参考下文，加盟嘻哈乐儿童主题乐园怎么样嘻哈乐儿童主题乐园主要以定制化的...。
本周一晚间，英特尔正式推出面向消费端的高性能显卡产品品牌——英特尔Arc，预计2022年年初上市，这意味着到2022年，电脑游戏爱好者们要更换新的电脑显卡时，除了英伟达和AMD，又多了一个新的选择，据英特尔介绍，英特尔Arc专为消费端打造，涵盖硬件、软件和服务三个方面，其硬件产涉及多代产品，不仅包括首代基于XeHPG微架构的Alche...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为萦绕广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在萦绕广告联盟网站首页底部或友情链接位...。
自去年工业互联网首次被写入政府工作报告，到今年初它被划分为，新基建，重点方向之一，工业互联网的发展可谓一路开挂，如今，随着，全国两会，的召开，，工业互联网，的热度再次飙升，成为与会代表今年关注的焦点，也引起了业内更多的讨论，5月22日，李克强总理在人民大会堂作政府工作报告，对于，新基建，、工业互联网建设作了重要指示，其中提到，另外，一...。
内衣，是贴身穿着的衣物，其舒适度与安全健康的性能，就尤为重要，许多品牌内衣就是凭借值得信赖的品质，俘获了一大批消费者的芳心，女人心内衣就是这样的品牌，门店顾客络绎不绝，生意较好，下面就来看看，女人心内衣能加盟吗，开店要多大面积，女人心内衣，就像其名字所说，是懂得女人心的内衣品牌，强大的研发设计团队，结合东方女性的生理曲线与实际穿着需求...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为梦芭莎网站广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在梦芭莎网站广告联盟网站首页底部...。
有，金山游侠，、，梦境魔盒修正器，、，星云修正器，、，CE游戏修正器，金山游侠，faf2bb07e1cb3e0c807ddd8ce0target=，blanktitle=点击检查大图class=ikqb，img，alink>，faf2bb07e1cb3e0c807ddd8ce0?x，bce，process=image%...。
日产100吨的大米加工成套设施，设施性能的多样化，单机设施经常使用的数量，造成成套多少钱在100万到260万之间不等，详细多少钱须要依据单机件的数量添减详细计算，大米加工设施工艺分3个阶段，稻谷预清算工段、砻谷分别工段、碾米及成品整顿工段，稻谷清算工段工艺流程为，稻谷→初清→去杂，沙石、金属及稗粒等，→净谷，砻谷分别工段工艺流程为，净...。
新京报讯据中国驻韩国大使馆官微信息，6月18日、19日，韩国驻菲律宾使馆和外交部相关官员不顾中方一再推戴，先后就南海疑问宣布罔顾理想的失误言论，中方对此示意剧烈不满和波动推戴，提出严正抗议，仁爱礁是中国南沙群岛组成局部，中国对包含仁爱礁在内的南沙群岛和及其左远海域领有无可辩论的主权，这具备充沛的历史和法理依据，以后南海情势弛缓的经纬很...。
记者3日从山东省防汛抗旱指挥部办公室了解到，经会商研判，山东省防汛抗旱指挥部选择于7月2日18时中断抗旱四级应急照应，据调度，截至7月3日，山东省旱情已基本解除，据引见，6月30日18时至7月2日15时，山东省平均降水量36.6毫米，16市平均降水量均超25毫米，其中，山东省有28个县，市、区，降水量超越50毫米，96个县，市、区，降...。
奇瑞QQ车的报价为3.79万元至5.09万元，然而活动幅度不是很大，这款车的外观经典，但有些老气，内饰做工微格调变化不大，比拟毛糙，储物空间也不够丰盛，只管空间很大，但前排坐两团体时有些挤，总的来说，这款车适宜代步上任务和长途出行，油耗经济，外观也不错，是一个值得介绍的选用，如今奇瑞qq车的多少钱提到中国汽车品牌，奇瑞作为其中的佼佼者...。
BitCometBitComet是处于内网中的BT下载喜好者首选的客户端软件，它领有共同的内网互联技术，支持UpnP的NAT和WindowsXP防火墙，让处于内网中的好友在下载的时刻一样可以取得十分快的速度，在经常使用之前，大家需确保其选项设置中的，网络衔接，标签勾选，准许关上Windows网络共享和防火墙ICS，ICF端口，以及，准...。
Bigscreen推出了号称是全球最轻最小的VR头显——BigscreenBeyond，仅重127克，该头显采用独特的外形设计，最薄处不到1英寸，仅重127克，号称比VR设备竞品轻了6倍，BigscreenBeyond搭载双眼5120x2560分辨率的OLED屏，也就是每个屏幕分辨率为2560x2560，相比传统的VR设备，Bigsc...。
打造哈利波特魔法世界中的无敌三人组卡组，连胜搭配技巧详解在哈利·波特，魔法觉醒这款游戏中，玩家可以通过精心构建和策略性的搭配来提升自己的卡组实力，其中，哈利波特三人组因其独特的团队协作能力和强大的战斗能力而备受玩家喜爱，本文将为玩家提供一套全面的哈利波特三人组卡组构建指南，帮助大家在游戏中取得连胜，一、哈利波特三人组简介哈利波特三人组...。
8月27日消息，在初版GalaxyFold遭遇失败之后，三星打算推出加强版本，他们希望新机不会像4个月前的产品那样出现问题，现在有迹象表明，那些想购买三星GalaxyFold的尝鲜者可能要实现他们的愿望了，三星确认GalaxyFold将于今年9月份上市，在中国的三星官网已经出现GalaxyFold，消费者可以在这里预先登记，三星还未公...。
材料花生，白糖，芝麻做法1.把花生微波烤熟，也可以炒熟，去皮压碎，2.锅内加入白糖用水化开，熬至微黄起大泡，3.把碎花生和芝麻倒入，用筷子快速搅匀，倒在之前涮上油的盘中压平，4.晾凉后即可食用，最好冷藏更脆，小诀窍熬糖时感觉差不多了可以用筷子粘上糖放在冷水里，尝尝是不是还粘牙，如果粘牙就要再熬一会，直到糖过冷后脆不粘牙才可以倒花生，在...。
作用，有效探求，安保太空，包含物理静止的地球卫星世界网络...差不多整个物理学当代几百年的大一致切实力一个通关形式的游戏币万有引力开普勒牛顿卡文迪许库伦焦耳爱因斯坦...。
