四足机器人是机器人研究的热门领域。然而，基于模型的方法很难应用于动态难以建模的环境中，例如可变形足球。最近在arXiv.org上的一篇论文提出了一个分层无模型RL框架，其中包括运动控制策略和规划策略，用于在现实世界中对四足机器人执行精确的射击技能。
运动控制策略学习各种全身运动来跟踪随机参数脚趾轨迹，同时在站立期间保持平衡。运动规划策略负责将可变形足球射向所需目标。
真实世界的实验验证了该方法，并证明了获得稳健控制策略和精确规划策略以将可变形足球射击到相对较大范围内的随机指定目标的可行性。
我们解决了使用强化学习使四足机器人在现实世界中执行精确射击技能的问题。开发算法以使有腿机器人能够将足球射向给定目标是一个具有挑战性的问题，它将机器人运动控制和规划结合到一个任务中。为了解决这个问题，我们需要考虑动态腿机器人控制过程中的动力学限制和运动稳定性。此外，我们需要考虑运动规划，以将难以建模的可变形球以不确定的摩擦力在地面上滚动到所需位置。在本文中，我们提出了一个分层框架，该框架利用深度强化学习来训练(a)一个可以跟踪任意运动的强大运动控制策略和(b)一个规划策略来决定将足球射向目标所需的踢球运动。我们将所提出的框架部署在A1四足机器人上，使其能够准确地将球射向现实世界中的随机目标。