从制造业到医学，再到服务机器人，可变形物体的操控技术都有着广阔的应用前景。
人类感知和处理可变形物体易如反掌，然而对于机器人来说，却是一项巨大的挑战。衣服、电线、面团等日常生活中常见的可变形物体，其操控难度却远高于刚体，而这也正是机器人技术需要攻克的前沿领域。
相较于操纵刚体，操纵可变形物体相关的建模、感知和控制的复杂程度更高，在历史上受到的研究和关注相对较少。
在这一背景下，如何利用传统控制或机器学习的方式让机器人精妙地操控可变形物体，实现人机协同作业或与人交互，已成为一个亟待解决的技术难题。
▍操纵可变形物体：挑战与机遇
为了进一步推动这一领域的研究，并帮助广大学者和技术人员更深入地理解“人机协作”的重要性，CAAI认知系统与信息处理专委会秘书长方斌教授发起了《方斌对话 | 人机协同操作》系列直播。在这个系列中，方教授邀请了多位该领城的权威学者，共同探讨人机协同操作的最新研究成果和技术进展。通过直播对话的形式，他们将进行深度思维碰撞，分享各自的研究经验和见解，为观众提供全新视角，以激发新的思考，为未来的研究和实践带来启发。
该活动由中国人工智能学会、中国自动化学会主办，中国人工智能学会认知系统与信息处理专业委员会和NOKOV度量动作捕捉承办，机器人大讲堂媒体支持。
4月12日，《方斌对话》系列直播02期邀请到了约克大学机器人学助理教授、约克大学安全自主研究所研究员、约克大学机器人辅助生活实验室（RALLA）负责人朱吉鸿老师，与方斌教授共同探讨主题“操纵可变形物体：挑战与机遇”
直播回放：https://www.bilibili.com/video/BV1Pw4m127Gf/
在直播中，朱吉鸿老师就相关主题进行了深入分享和探讨。同时，方斌教授通过与朱吉鸿老师的远程交流，引领观众深入探索了朱吉鸿老师在英国、法国、德国和荷兰长达11年的学习与工作经历。他们一同聚焦于尖端机器人团队和科研活动，针对机器人操作、辅助型机器人等当前炙手可热的话题进行了讨论。
那么，朱吉鸿老师在此次直播中具体分享了哪些技术要点？接下来，请紧随机器人大讲堂的脚步，一起来探索！
▍物体变形带来的基本挑战与应对策略
以机器人操作为出发点，朱吉鸿老师首先对机器人操作的含义进行了简单介绍，并就柔性物体操作的定义进行了阐释。
据朱吉鸿老师介绍，机器人操作在研究中被分为两类：一类是处理刚性物体，另一类是处理柔性物体。刚性物体在操作过程中不会发生形变，或者其形变对操作没有影响，可以被忽略。而柔性物体在操作过程中会发生形变。尽管机器人操作研究已经进行了很长时间，但在很多研究中，仍然假设操作的物体是刚性的，而不是柔性的。然而，在实际生活中，我们的环境中存在很多柔性物体。因此，机器人需要能够处理可变形的柔性物体，才能在人类环境中进行工作。
柔性物体操作的三大挑战是什么？
对于柔性物体的物理操作，朱吉鸿老师在博士研究期间深入思考了这一领域所面临的痛点、难点，并总结了以下三大挑战：
感知形变的困难：对于柔性物体，重要的是能够检测和感知其形变。这通常需要依赖传感器，例如摄像机或触觉传感器。摄像机可以提供广角的视野来捕捉物体的整体形变，但它对环境变化如光线敏感，可能影响其准确性。而触觉传感器虽然能提供局部的精确读数，但无法全面捕捉物体的形变，因此在这一方面的挑战相对较大。
无限配置空间的复杂性：与刚性物体相比，柔性物体的配置空间是无限的。刚性物体如手机在空间中的运动可以用六个自由度来描述，而柔性物体的每个部分都可以独立移动，理论上需要无限的可能性来描述其空间配置。尽管在实际研究中可以使用有限的特征表示法来简化问题，但处理这种复杂性仍然是一个挑战。
模型非线性：对形变进行建模时面临的另一个挑战是模型的非线性。大多数物体的形变都是非线性的，而不是完全的弹性形变。完全弹性形变的问题是，实际生活中的物体很少是完美的弹性体。因此，当尝试对形变进行建模时，必须处理非线性模型的复杂性。
如何应对柔性物体操作的三大挑战？
在后续的讲述中，朱吉鸿老师以自己在研究中如何应对这些挑战为例，与大家深入探讨了应对以上三大挑战的策略和方法，以及这在实际操作中的表现和效果。
研究一：工业应用案例—绕线
朱吉鸿老师首先介绍了他在法国参与的一个工业应用案例——绕线操作项目。该项目是与标志公司PSA合作研究完成，属于地平线2020计划的一部分。在这个项目中，他们就如何利用环境接触限制线状物体的配置空间获得更好绕线效果这一问题进行了探讨。
为了解决这个问题，他们设计了一个双臂系统，其中一个基于视觉的机械臂用于简化绕线任务，另一个臂在必要时会抬起或放下。这个系统包括一个末端执行器，负责控制线材在穿越和接触过程中的位置，防止滑动。该工作与实际工业业务紧密相关，被认为是第一个进行此类绕线工作的尝试，并被后续研究广泛引用和简化。
研究二：能否用同一套算法做柔性和刚性的物体操作
在设计了双臂系统，解决了利用机器人进行绕线操作者这一问题后，朱吉鸿老师所在团队对于能否使用同一套算法进行柔性和刚性物体操作这一问题进行了探索，并提出了一个创新的问题：是否可以统一柔性和刚性物体操作的算法？
为了解决这个问题，他们采用基于视觉的方法，首先对物体的外围进行提取，然后在物体边缘上采样点来描述其形状。由于采样点可能非常多，导致描述形状的向量维度很高，因此他们通过主成分分析（PCA）来提取低维度的特征向量。而后，通过在线估计雅各比矩阵，团队找出了机器人运动与特征向量变化之间的关系，并将矩阵随后用于控制。由于特征向量和雅各比矩阵都在不断更新，整个过程实际上非常复杂，因此团队开发了一套算法来进行这种更新，称之为统一的视觉反馈范式。
通过与香港理工大学David Navarro-Alarcon 副教授合作，团队在一个实验项目中对该视觉反馈范式进行了验证。实验结果显示，在无需对算法进行任何改进的前提下，无论是线还是海绵，机器人都可以将其塑造成期望的形状，此外，在实验过程中相机位置的不断变化也验证了这一框架的超强适应性。但与此同时，由于该框架每次控制时使用的雅各比矩阵只能描述局部区域，因此也存在无法证明全局稳定性的缺点。
研究三：机器人铺平衣服
此外，朱吉鸿老师还分享了他和他的学生邱雨雷在利用机器人技术铺平衣服方面的创新研究。他们共同研究并设计了一种视觉算法，使得机器人能够有效地处理并铺平褶皱的衣物。
这项技术的关键在于其能够将图像处理和机器视觉相结合，以解决衣物褶皱的问题。该算法首先通过图像分析，将褶皱的衣服分割成多个小块。然后，针对每个小块上的褶皱，算法会生成一个箭头，指示褶皱的方向。这一步骤至关重要，因为只有正确识别出褶皱的方向，机器人才能知道如何正确地拉伸衣物以消除褶皱。
接下来，算法会创建一个向量场，为机器人提供在每个点上应该施加的力量和方向，以便将褶皱展平。此外，算法还生成了一个热力场，这个热力场能够显示衣物上褶皱的程度，帮助机器人识别出需要特别处理的区域。
在实际演示中，机器人利用这种视觉处理方法，成功地对随机生成的褶皱进行了铺平。尽管这项技术在步骤数量上可能还不如人工铺平衣物那样高效，但它无疑展示了机器人在日常生活领域中的应用潜力。
同时，朱吉鸿老师也详细介绍了其与全球13个不同国家和地区的科研同仁们共同撰写的一篇相关论文。该论文于2022年成功发表于《IEEE Robotics and Automation Magazine》，并迅速在学术界引起广泛关注，成为该领域内备受瞩目的研究之一。这一成就也反映了该领域的广阔发展前景和持续的学术活跃度。
通过三个具体的案例分析，朱吉鸿老师深入剖析了机器人操作柔性物体时面临的感知变形、组态空间的无限性和模型的非线性三大挑战，并与大家深入探讨了应对三大挑战的策略和方法，以及这在实际操作中的表现和效果。
▍可变形物体操纵的广阔前景与应用展示
随着社会逐渐步入老龄化，年轻劳动力的减少，辅助机器人的必要性日益凸显，辅助技术亦成为一个重要的研究领域。
在此背景下，操纵可变形物体的研究显得尤为重要，其中涉及到的辅助机器人技术被认为是解决未来社会挑战的关键。
以辅助机器人为例，朱吉鸿老师特别强调了可变形物体操纵技术在未来应用中的重要性和潜力。
朱吉鸿老师强调，辅助机器人在不同的领域都发挥着重要作用。如果辅助机器人会进入到每个家庭，那么它们必须具备两个关键因素：一是用户需能够轻松对机器人进行编程；二是机器人应具备适应不断变化环境的能力。
以学生孙建涌的研究为例，朱吉鸿老师为大家揭示了辅助机器人满足上述要求的技术途径——模仿学习。
辅助机器人训练的关键技术——模仿学习
模仿学习（Learning from Demonstration）是一种基于人类学习运动技能的方式，涉及一个“教师”演示特定动作，学生则通过观察来模仿这些动作。这种学习方法的优势在于，它允许非专业人员也能够对机器人进行编程，极大地降低了技术门槛。
在模仿学习的整体框架中，首先需由一名“教师”向机器人展示一系列动作，机器人随后收集数据并通过机器学习算法生成策略。这些策略被应用于实际环境中，使机器人能够根据传感器输入产生响应，完成既定任务。
通过对学生孙建勇的研究进行介绍，朱吉鸿老师向大家展现了利用模仿学习给机器人编程的简易性。
实验中，孙建涌仅进行了两次示范，机器人随后便自主完成了剩余的任务。值得注意的是，这些任务是在机器人未曾接触过的场景中进行的，这证明了模仿学习的有效性和机器人强大的适应能力。
机器人辅助穿衣研究
在传统机器人研究中，一个普遍的假设是操作对象为刚性物体，这在很大程度上限制了研究的范围。然而，现实世界中，许多物体，包括衣物，都是柔性的。这在许多情况下挑战了以往的这些基本假设，并打开了一扇机遇之门。
机器人辅助穿衣这一领域被公认为是机器人技术中一个活跃且具有挑战性的方向，其核心在于如何让机器人能够更好地协助行动不便的人群完成穿衣这一日常生活活动。
尽管存在大量优秀的相关工作，但朱吉鸿老师发现，由于传统机器人辅助穿衣的方法主要是通过观察现有的机器人辅助穿衣系统和自身的尝试来了解这一过程，因此在穿衣过程中通常会让人的手臂处于不舒适的姿势，这促使朱吉鸿老师转向专业的护理人员，以了解他们是如何处理穿衣这一动作的。
通过调查和实验，朱吉鸿老师团队受专业护理人员使用双臂给人穿衣的方式的启发，设计了一个交互式的机器人系统。该系统包括两个机械臂，一个用于稳定人的手臂，另一个用于帮助穿脱衣物。通过模仿专业护理人员的穿衣方法，来改进机器人辅助穿衣技术。朱吉鸿老师团队的研究取得了成功，其系统设计不仅被TRO接受，得到了学术界的认可，还获得了英国BBC、X- explore等相关媒体的报道。
对此，朱吉鸿老师表示：“在辅助性任务中，人类的启发至关重要。作为科研人员，我们经常致力于开发复杂的算法，解决那些我们认为具有科研挑战性的问题。但有时，换一个角度思考，一些重大突破往往源于对人类行为的观察和理解。特别是在辅助性工作中，我们可以从人类如何执行这些任务中获得宝贵的灵感。”
▍关于ICRA 2024人机协作论坛
值得注意的是，在分享的最后朱吉鸿老师还对ICRA 2024人机协作论坛进行了精要的预告。
据了解，该论坛得到了IEEE旗下机器人与自动化协会（RAS）的官方资助，并计划于5月13日在ICRA 2024大会期间隆重召开。该论坛由来自世界各地的学者共同发起，包括约克大学朱吉鸿助理教授、清华大学李翔副教授、北京邮电大学方斌教授、卡耐基梅隆大学Zackory Erickson助理教授、土伦大学Claire Dune副教授以及香港理工大学David Navarro-Alarcon副教授。同时，该论坛还获得了NOKOV度量动作捕捉的赞助，并得到了中国自动化学会智能自动化专委会的大力支持。
欢迎报名参加，详情请访问：https://sites.google.com/york.ac.uk/icra24-comanipulation
本次论坛的主题定为“Exploring Role Allocation in Human-Robot Co-Manipulation”，旨在深探人机协同操作中的角色分配问题。届时，论坛将聚焦于意图感知、机器人学习、交互控制、人机接口等多个该领域的研究热点，以期推动学术与实践的深度融合，为未来的人机协作开拓新的视野和思路。