每日一篇文献：Intuitive Bare-Hand Teleoperation of a Robotic Manipulator Using Virtual Reality and Leap Motion 使用虚拟现实和跳跃运动对机器人机械手进行直观的徒手遥操作

标题：Intuitive Bare-Hand Teleoperation of a Robotic Manipulator Using Virtual Reality and Leap Motion

下载链接：https://link.springer.com/content/pdf/10.1007%2F978-3-030-25332-5_25.pdf

摘要

尽管有各种关于机器人操纵器遥控操作的直观人机交互 (HRI) 的现有工作，但据我们所知，以下研究问题尚未得到研究：我们能否拥有一个遥控操作的机器人操纵器，它可以简单地复制人类操作员的裸机？在没有任何手持设备的情况下实时掌握手势和手势？本文提出了一种新的远程操作系统，试图解决这个问题。首先，我们详细介绍了如何使用Universal Robots UR5、Robotiq 3指抓手和基于Unity和ROS的Leap Motion来实际设置系统，并具体描述彼此之间传递的信息。此外，我们提供了为控制机械臂和抓手而开发的 ROS 节点的详细信息，鉴于 Leap Motion 感知到的人类赤手的信息。然后，我们展示了我们的系统执行一个简单的拾放任务，并讨论了这个 HRI 概念的可能收益和成本。

关键词

人机交互遥操作虚拟现实飞跃运动

该项目得到了 RAIN Hub 的支持，该中心由工业战略挑战基金资助，该基金是*现代工业战略的一部分。该基金由 UK Research and Innovation 提供，由 EPSRC [EP/R026084/1] 管理。

下载会议论文 PDF

1简介

15]。远程操作机器人的使用将最大限度地减少人类工人接触放射性危险材料的需要，从而提高安全性并从长远来看降低运营成本。

2），这是teleoperate使用徒手实时地自动操纵器，而无需既不虚拟目标，也没有预定义手势的首次尝试。

在本文中，我们展示了如何使用 6 *度机械臂（Universal Robots UR5）、三指抓手（Robotiq）、Leap Motion、基于 Unity（3D 游戏引擎）和 ROS 的虚拟现实来实际设置系统（机器人操作系统），并具体描述彼此之间通信的信息。此外，我们提供了为控制机械臂和抓手而开发的 ROS 节点的详细信息，考虑到 Leap Motion 感测到的人类裸手信息。然后，我们演示我们的系统执行一个简单的拾放任务，并讨论这个 HRI 概念的可能收益和成本。

2相关工作

11]。

Moveit交互式标记相比，操纵虚拟对象可以减少任务完成时间。然而，所有的作品都使用计划和执行的概念，这不可避免地会导致每个命令的延迟。

我们的工作受到以下研究问题的启发：我们能否拥有一个遥控机器人操纵器，它可以简单地实时复制人类操作员的手势和手势，既没有虚拟目标，也没有预定义的手势或手持设备？以下部分展示了我们试图回答这个问题的远程操作系统。

3提议的系统

在本文中，我们提出了一个新的 HRI 概念，其中人类操作员可以直观地使用他/她的赤手空手来远程操作机器人操纵器。在我们的系统中，如图1所示，人类操作员可以坐在一个虚拟控制室，那里有三视图显示器和一个呈现实际机器人状态的虚拟机器人模型，以及操作员可以通过控制面板给出任何预定义的命令。无需任何手持设备，通过连接到 VR 护目镜外表面的 LM，人的手可以被感知并直观地与控制面板进行交互。更重要的是，取决于控制模式，即到达模式或操纵/抓取模式（参见第 3.2 节)，机器人机械手可以跟随 LM 感应到的操作者的裸手，这提供了高度的直观性。

图。1。

提议的使用虚拟现实和 Leap Motion 的远程操作系统（左上：佩戴带有 Leap Motion 的 VR 护目镜的用户；左下：虚拟控制室；右：远程站点的机器人）

图 2。

拟议的遥控机器人机械手的系统架构

3.1系统架构

17] 有关 ROS# 用法的更多详细信息。

2相比，最近的软件提供了明显更好的性能，但目前仅在 Windows 上可用。重要的是，当 Orion 与 VR 一起使用时，LM 可以在没有手持设备的情况下实现沉浸式界面。与通过 ROS 直接使用 LM（使用 V2）相比，Orion 还提供了关于手的额外信息，例如手掌的法线和方向向量，这些信息在这项工作中用于将用户手映射到机器人手。

3）使用户能够通过在虚拟空间中简单地触摸它们来与虚拟对象（例如虚拟控制面板）进行交互。

4。

http://docs.ros.org/hydro/api/robotiq_s_model_control/html/msg/SModel_robot_output.html），即夹具功能寄存器）用于夹具。

8，“必须以 125 Hz 的频率控制机器人，或者换句话说，必须每 0.008 秒告诉它该做什么”。

system_node激活或停用，其中包含一个指示控制模式的字符串值由用户选择。

joint_speed，但是如果在上一个主题之后的0.008秒内没有收到新主题，它会再次发布上一个主题。虽然这也不能提供适当的实时能力，但至少 UR5 的移动变得更加流畅。

并由 SModelRobotOutput 组成，然后将其发布到抓手。

Image Subscriber。

3.2 空手如何控制机器人？

如前所述，当前系统有两种控制模式：到达模式和操纵/抓取模式。在 Reaching 模式下，机器人末端执行器的三维笛卡尔位置仅在手部闭合时通过 Leap Motion 感应到的操作者手掌位置跟随，从而激活机器人的运动。该激活功能旨在减少整个操作过程中过多的人的注意力负荷，防止因操作员可能无意识的手势或动作而导致的意外事故。本节介绍每种控制模式的更多详细信息。

Reaching Mode：这种控制模式的描述如算法1所示。基本上，主循环在每个采样时间后的每个计算时刻k运行

06 乙 克 = [乙 克 磷 克 01 \times 31] .

(1)

磷克∈电阻1×3 是末端执行器在任务空间中的位置。

θ˙克+1d 计算并发布。

操作/抓握模式：在操作/抓握模式下，不仅末端执行器的位置而且其方向都遵循人手的方向。在这种模式下，关闭手势会触发机器人抓手的抓取行为。

θ˙克+1d，然后将其发布到机器人操纵器。

用于抓取的ROS节点在算法3中描述。它计算手抓取位置的时间差

总之，手势及其对机器人的最终命令如图3所示。

图 3。

如何通过手部跟踪控制机械手

4演示与讨论

如图4所示，我们成功地演示了所提出的远程操作系统来拾取空铝罐10。可以很好地感知手的位置和手势，这提供了高度的直观性。由于这种直观性，测试操作员提到，多个平面显示器足以感知远程情况并完成任务。

图 4。

提议的远程操作系统的演示：前两个子图呈现 Reaching 模式；其余子图显示操作/抓取模式

在这种情况下，作为未来的工作，我们将通过参与人类案例研究来评估这一 HRI 概念，与使用虚拟目标对象的现有研究进行比较。我们的假设之一是，仅依靠多平面显示器，提议的 HRI 概念将提供更多好处，正如我们在本演示中所体验的那样。

11，它使用超声波来提供空中触觉。否则，设计一种与 LM 兼容的可穿戴轻量触觉设备也将是一项有趣的研究。

5结论

本文提出了一种新颖的远程操作系统，其中机器人操纵器以实时方式简单直接地复制人类操作员的裸手姿势和手势，而无需任何手持设备。我们展示了如何使用基于 Unity 和 ROS 的商业级机器人（例如 Universal Robots UR5 和 Robotiq 3 指抓手以及 Leap Motion 和虚拟现实）来实际设置系统。我们演示了我们的系统执行一个简单的拾放任务，并讨论了这个 HRI 概念的可能收益和成本。

脚注

1 .

https://github.com/siemens/ros-sharp/。
2 .

https://youtu.be/7HnfG0a6Gfg 中的比较。
3 .

https://leapmotion.github.io/UnityModules/interaction-engine.html。
4 .

https://gallery.leapmotion.com/detection-example/。
5 .

https://github.com/ros-industrial/universal_robot。
6 .

https://github.com/ros-industrial/robotiq。
7 .

https://github.com/ros-industrial/ur_modern_driver。
8 .

URScript 编程语言，版本 3.5.4，2018 年 4 月 12 日。
9 .

http://wiki.ros.org/ur_kin_py。
10 .

//youtu.be/lu-0yrl9J5g。
11 .

https://www.ultrahaptics.com/products-programs/。