Simulation et contrôle par apprentissage par renforcement d'un bras manipulateur industriel Thor à 6 DoF dans Gazebo avec ROS2

Abstract

Ce mémoire de fin d'études explore la simulation et le contrôle d'un bras manipulateur industriel à six degrés de liberté (6-DoF), le robot Thor, en utilisant le Reinforcement Learning (RL) et la plateforme Robot Operating System 2 (ROS2). Face aux défis de la conception et du contrôle des manipulateurs complexes, le projet vise à démontrer l'efficacité de ROS2 pour la gestion complète d'un système robotique, de la modélisation virtuelle à la commande en temps réel, en intégrant des méthodes d'apprentissage basées sur le RL. Ce mémoire est structuré en trois chapitres : • Le premier chapitre présente une vue d'ensemble de ROS2 ; • Le deuxième chapitre aborde les méthodologies du Reinforcement Learning appliquées aux manipulateurs, et ; • Le troisième chapitre détaille les résultats de la simulation et du contrôle du robot Thor, notamment pour des tâches de manipulation d'objets comme "pick and place", en utilisant l'algorithme Deep Deterministic Policy Gradient (DDPG) dans un environnement simulé dans Gazebo. Mots clés : ros2, ros, gazebo, moveit, rviz, reinforcement learning, RL, ddpg, actor-critic, bras robotique thor, simulation, pick and place

Abstract

This dissertation explores the simulation and control of a six-degree-of-freedom (6-DoF) industrial manipulator arm, the Thor robot, using Reinforcement Learning (RL) and the Robot Operating System 2 (ROS2) platform. Given the challenges of designing and controlling complex manipulators, the project aims to demonstrate the effectiveness of ROS2 for the complete management of a robotic system, from virtual modeling to real-time control, by integrating RL-based learning methods. This dissertation is structured in three chapters: • The first chapter presents an overview of ROS2; • The second chapter discusses Reinforcement Learning methodologies applied to manipulators; and; • The third chapter details the simulation and control results of the Thor robot, particularly for object manipulation tasks such as pick and place, using the Deep Deterministic Policy Gradient (DDPG) algorithm in a simulated environment in Gazebo.

Keywords: ros2, ros, gazebo, moveit, rviz, reinforcement learning, RL, ddpg, actor-critic, thor robotic arm, simulation, pick and place