论文标题：Design and control algorithm of a motion sensing-based fruit harvesting robot

期刊：Frontiers of Agricultural Science & Engineering

作者：Ziwen CHEN, Yuhang CHEN, Hui LI, Pei WANG

发表时间：15 Jun 2025

DOI：10.15302/J-FASE-2024588

微信链接：点击此处阅读微信文章

智慧农业

Smart Agriculture

专 辑 文 章 介 绍

· 第二篇 ·

▎论文ID

Design and control algorithm of a motion sensing-based fruit harvesting robot

基于体感伺服控制的人机协作水果采摘机器人设计

文章类型：Research Article

发表年份：2025年

第一作者：陈子文

通讯作者：王沛

Email: peiwang@swu.edu.cn

作者单位：西南大学工程技术学院，丘陵山区智能农机装备重庆市重点实验室

Cite this article :

Ziwen CHEN, Yuhang CHEN, Hui LI, Pei WANG. Design and control algorithm of a motion sensing-based fruit harvesting robot. Front. Agr. Sci. Eng., 2025, 12(2): 190–207 https://doi.org/10.15302/J-FASE-2024588

· 文 章 摘 要 ·

本文针对机器视觉在果实识别中的局限性，提出一种基于体感交互的人机协作采摘机器人系统。该系统通过Leap Motion控制器捕捉操作者手势，结合六自由度机械臂实现精准采摘。创新性地采用D-H法建立运动学模型，并提出包含机械干涉判断等四步优选方法的逆运动学求解策略。经MATLAB仿真验证后，系统实现74.4 ms的快速响应，采摘效率达每果6.5 s，手势识别准确率96.7%。实验表明，该系统能有效提升非结构化环境下的采摘效率，降低劳动强度。

· 文 章 亮 点 ·

1. 使用Leap Motion实现手势交互，简化采摘操作，提升人机协作效率。

2. 提出四步优化方法，确保机械臂运动平滑精准，避免干涉。

3. 响应时间仅74.4 ms，采摘耗时6.5 s，手势识别准确率96.7%。

4. 设计直观的操作界面，支持双点击手势控制，减少误操作。

5. 适用于复杂采摘环境，结合人类视觉优势，降低劳动强度。

6. 涵盖硬件设计、算法优化及实验验证，提供完整解决方案。

· Graphical abstract ·

· 研 究 内 容 ·

▎引言

鲜果采摘作业劳动力需求大、机械化难度高，目前仍主要依赖人工。随着劳动力成本上升，发展智能化采摘技术成为迫切需求。现有基于机器视觉的自动采摘系统受复杂光照、果实遮挡等非结构化环境影响，识别精度和实时性难以满足实际需求。体感技术作为人机交互的重要手段，已在多个领域取得应用成果。在农业领域，Leap Motion等体感设备为机械臂控制提供了新思路，其手部交互方式相比Kinect更具操作便捷性。现有研究多集中于手势识别和机械臂控制算法优化，但在采摘作业中的应用仍有待深入。本文基于Leap Motion体感技术，提出一种人机协作采摘系统。通过建立多自由度机械臂运动模型，实现手部运动精准映射控制，并设计一键采摘指令交互模式。该系统充分发挥人类视觉优势，结合机器人作业能力，为复杂环境下的果实采摘提供了一种高效、安全的解决方案。

▎研究内容

1. 人机协作采摘系统设计

本研究创新性地采用Leap Motion体感设备构建手势交互控制系统，通过捕捉操作者的手部动作实现"以小控大"的机械臂精准操控。系统由采摘执行机构 (六自由度机械臂)、手部信息采集模块、人机交互界面和协作控制策略四部分组成，形成完整的硬件-软件协同架构，如图1所示人机协作采摘机器人的结构图。特别设计的"一键采摘"指令模式，将复杂的采摘动作简化为双击手势操作，不仅大幅降低了操作门槛，还使人工劳动强度减少50%以上，为高劳动强度的农业采摘作业提供了智能化解决方案。

图1 人机协作采摘机器人组成。

注：1, 大臂；2, 肘关节电机；3, 小臂；4, 腕关节电机；5, 前臂；6, 腕扭转关节电机；7, 支架；8, 果梗切割电机；9, 双刃割刀；10, 末端执行器；11, 末端执行器电机；12, 肩关节电机；13, 腰关节；14, 基座；15, PC机；16, Leap Motion。

2. 机械臂运动控制优化

针对采摘机械臂在复杂环境中的运动控制难题，研究团队基于D-H参数法建立了六自由度机械臂的完整运动学模型。创新提出的四步逆运动学优选方法，通过机械干涉检测、解的正确性验证、运动合理性评估和轨迹平滑性优化四个递进筛选步骤，从多组逆解中自动选择最优运动方案。该方法经MATLAB Robotics Toolbox仿真验证，在保持末端定位精度 (± 2 mm) 的同时，使关节运动量减少35%，显著提升了机械臂在密集果实环境中的避障能力和运动效率。如图2所示为机械臂运动范围示意图。

图2 图机械臂运动范围。 (a), 俯视运动范围；(b), 横截面。

3. 体感交互关键技术突破

研究团队攻克了体感控制中的两大核心技术：开发了基于局部加权回归 (LWLR) 的数据滤波算法，将Leap Motion的静态漂移误差控制在1.5 × 1.4 mm的行业领先水平；创新设计的空间映射算法实现了立方体交互空间与机械臂扇形工作区域的精准坐标转换，建立包含深度方向 (< 7 mm) 和高度方向 (< 6 mm) 的双维度误差控制体系。实验数据显示，该系统在保持74.4 ms超低延迟的同时，使未经训练用户的对靶时间从8.3 s缩短至6.5 s，手势识别准确率达96.7%，为农业机器人提供了可靠的体感交互范式。

4. 仿真与实验

本研究通过MATLAB Robotics Toolbox对机械臂运动控制算法进行了系统的仿真实验验证。仿真过程中，首先基于D-H参数法建立了六自由度机械臂的精确运动学模型，并在虚拟环境中设置了包含障碍物的典型采摘场景；然后针对提出的四步逆运动学优选方法 (机械干涉判断→解的正确性验证→运动合理性评估→轨迹平滑性优化)，通过规划从初始位置到五个典型目标点的运动轨迹进行测试。仿真结果显示，优化后的逆解算法相比传统方法使关节运动量平均减少35%，末端执行器定位精度达到± 2 mm，同时有效避免了机械臂与虚拟环境中障碍物的干涉碰撞。此外，通过对比分析不同运动轨迹的关节角度变化曲线，验证了该算法在保证运动精度的同时，显著提高了轨迹的平滑性和连续性，为后续实物样机的控制性能提供了理论依据和参数优化指导。如图3所示为体感互动采摘实验过程。

图3 体感互动采摘过程。(a), 体感对靶；(b), 采摘指令；(c), 自动采摘；(d), 自动卸果。

· 结 论 与 展 望 ·

本研究提出了一种基于Leap Motion体感控制的人机协作采摘机器人系统，主要创新点包括：(1) 构建了手势交互控制系统，实现小范围手部动作控制大范围机械臂运动，并采用"一键采摘"模式降低劳动强度；(2) 开发了四步优选逆运动学求解方法 (机械干涉/正确性/合理性/平滑性筛选)，通过MATLAB仿真验证其有效性；(3) 采用局部加权回归算法处理手部数据，将Leap Motion的静态漂移控制在1.5 × 1.4 mm内；(4) 建立了交互空间与机械臂工作空间的映射关系，实现深度方向误差< 7 mm、高度方向误差< 6 mm的精准对靶。实验表明，系统平均响应时间74.4 ms，采摘效率达每果6.5 s，手势识别准确率96.7%，显著提升了复杂环境下的采摘性能。

【作者及团队介绍】

王 沛

德国霍恩海姆大学博士，现任西南大学副教授，主要从事智能农业装备关键技术研究。入选重庆市学术技术带头人后备人选 (农业工程学科)；担任ISO国际标准委员会植保机械与施药技术委员会ISO/TC23/SC6/WG6专家工作组成员；Frontiers in Plant Science期刊Associate Editor、中国工程院院刊Frontiers of Agricultural Science and Engineering青年编委；重庆市科技特派团团长；欧洲精准农业协会 (ECPA)“Young Scientist Grant”获得者。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn