截至目前，尽管各式各样的机器人已被研发出来，但在对机器人领域中的某些低刚度机器人进行建模时，仍面临诸多挑战。特别是当这些机器人使用工具时，物体抓取导致的机器人身体偏转问题尤为突出。
这种偏转不仅会改变工具尖端的位置和机器人身体的重心，还会因工具的重量和长度变化而变得更加复杂，使得建模过程异常棘手。目前，尚未有一种控制或学习方法能够全面考虑并解决这些影响因素。
▍提出新方法，已被ICRA 2024接受
据探索前沿科技边界，传递前沿科技成果的X-robot投稿，前不久，来自日本东京大学JSK机器人实验室的研究团队提出了一种创新的神经网络构建方法，该方法旨在描述关节角度、视觉信息和足部触觉信息之间的相互关系。研究团队的目标是利用实际机器人数据对该网络进行训练，并将其应用于工具尖端的精确控制。
通过引入参数偏差技术，该方法能够敏锐地捕捉到由工具重量和长度变化所引起的相互关系的变化，从而根据当前的传感器信息准确理解被抓取工具的特性。
为了验证这一方法的有效性，研究团队将其应用于一个由低刚度塑料制成的人形机器人KXR上，进行了全身工具使用的实验。实验结果显示，该方法在提升机器人工具使用能力方面展现出了显著的效果。
这一重要研究成果已被国际机器人与自动化大会（ICRA）2024年会议接受，并将以“Adaptive Whole-body Robotic Tool-use Learning on Low-rigidity Plastic-made Humanoids Using Vision and Tactile Sensors”为题发表论文。日本东京大学JSK机器人实验室项目助理教授Kento Kawaharazuka担任该论文的第一作者，Kei Okada和Masayuki Inaba则作为共同作者参与了此项研究。
接下来，一起来和机器人大讲堂深入探索这一研究成果！
▍神经网络模型WTNPB
研究团队针对低刚度机器人（如使用橡胶或塑料制成的关节和链接的机器人）在工具使用过程中面临的挑战，提出了一种创新的神经网络模型——具有参数偏差的全身工具使用网络（WTNPB）。
具有参数偏差的全身工具使用网络（WTNPB）的系统概述具有参数偏差
WTNPB网络通过集成关节角度、视觉信息和足部触觉信息，构建了一个能够深刻描述这些变量间复杂关系的神经网络框架。该网络不仅具备强大的信息处理能力，还通过编码器与解码器的精妙组合，实现了从输入数据到潜在变量，再到输出数据的精准映射。
尤为重要的是，WTNPB引入了参数偏差（PB）机制，这一可学习的输入变量如同网络内部的“智能调节器”，能够隐式地捕捉工具重量和长度变化对传感器信息相互关系的影响，从而实现对工具状态的准确估计，无需明确知道工具的具体参数。
本研究的概念：学习关节角度、重心、工具尖端位置和工具尖端屏幕坐标之间的相互关系，以便考虑工具重量和长度的变化，实现低刚度机器人自适应全身工具的使用。
WTNPB网络展现出卓越的适应性和精准控制能力。其在线更新参数偏差的功能，使得机器人能够迅速适应新工具的物理特性，无需繁琐的重新训练过程。结合触觉信息和多种视觉信息，WTNPB网络能够全方位、多角度地理解机器人和工具的状态，为精准控制提供了坚实基础。在控制过程中，系统通过优化潜在变量，实现了对工具尖端位置的精确操控，同时保持机器人重心的稳定，确保了操作的鲁棒性。
更值得注意的是，WTNPB网络不仅适用于低刚度机器人，还具备广泛的适用性和可扩展性。通过调整网络结构和参数，该网络可以轻松适应不同类型和规格的机器人，展现出强大的应用潜力。
▍WTNPB性能及有效性测试
为了全面验证WTNPB网络的有效性和性能，研究团队在低刚度塑料人形机器人KXR上进行了详尽的实验研究。
处理不同重量的工具时，刀尖位置和重心会发生变化
在仿真阶段，研究团队通过随机调整机器人关节角度，收集了大量数据，并成功训练了WTNPB网络。通过主成分分析（PCA），团队验证了参数偏差在网络空间中的有序组织，展现了网络强大的学习和自适应能力。
模拟实验中训练出来的参数偏差
模拟实验中在线更新过程中参数偏差的轨迹
进一步，在线更新实验表明WTNPB网络能够实时调整参数偏差，迅速适应新的工具状态，实现了高精度的工具尖端位置控制。这一发现证明了网络在复杂动态环境中的高度灵活性和鲁棒性。
在实际机器人实验中，WTNPB网络同样表现卓越。经过仿真数据预训练和实际机器人数据微调后，该网络在工具状态识别和工具尖端位置控制等任务中，均显著优于传统几何模型，实现了更高的控制精度和稳定性。
训练出来的参数偏差，以及实际机器人实验中在线更新时参数偏差的
在实际机器人实验中，使用几何模型、使用模拟数据训练后的WTNPB、使用实际机器人数据微调后的WTNPB三种情况的控制误差比较。
为探索WTNPB网络在复杂任务中的应用潜力，研究团队还进行了一项集成实验。实验中，机器人成功使用工具打开了一个位于高处的窗户，充分展示了WTNPB网络在复杂全身工具使用任务中的高效性和实用性。
开窗综合实验
这一系列实验成果不仅验证了WTNPB网络的广泛应用前景，还可为低刚度机器人在多个领域的潜在应用提供有力支持。
在制造业，低刚度机器人可利用WTNPB网络执行精密组装和加工任务，提升生产效率和产品质量；在服务业，机器人能携带工具进行物品搬运、手术辅助等操作，提供更为便捷、高效的服务体验；在救援与探索领域，机器人则能携带特定工具深入灾区或深海执行搜救和探索任务，为社会安全与发展作出重要贡献。
WTNPB神经网络模型的推出，标志着低刚度机器人在复杂环境下的工具使用能力迈上了新台阶。这一创新成果不仅为机器人智能控制领域带来了新的启示，更为未来机器人技术的广泛应用奠定了坚实基础。
▍关于X-robot
X-robot是中关村机器人产业创新中心与机器人大讲堂联手打造的权威性信息发布品牌专栏，集前沿探索、产业研究、知识普及于一体，致力于积极推动新质生产力的生成与发展，助力我国乃至全球机器人行业的蓬勃繁荣。X-robot立足国际化视野，通过全方位、多角度的挖掘与追踪，生动展现机器人前沿技术与尖端成果，为学术界、产业界及公众提供一个洞见未来、共享科技的重要窗口。
参考文章：
https://arxiv.org/html/2405.04826v1