Open Access

Charles Wilmot

• Recent advances in artificial neural networks enabled the quick development of new learning algorithms, which, among other things, pave the way to novel robotic applications. Traditionally, robots are programmed by human experts so as to accomplish pre-defined tasks. Such robots must operate in a controlled environment to guarantee repeatability, are designed to solve one unique task and require costly hours of development. In developmental robotics, researchers try to artificially imitate the way living beings acquire their behavior by learning. Learning algorithms are key to conceive versatile and robust robots that can adapt to their environment and solve multiple tasks efficiently. In particular, Reinforcement Learning (RL) studies the acquisition of skills through teaching via rewards. In this thesis, we will introduce RL and present recent advances in RL applied to robotics. We will review Intrinsically Motivated (IM) learning, a special form of RL, and we will apply in particular the Active Efficient Coding (AEC) principle to the learning of active vision. We also propose an overview of Hierarchical Reinforcement Learning (HRL), an other special form of RL, and apply its principle to a robotic manipulation task.
• Jüngste Fortschritte auf dem Gebiet der Künstlichen Neuronalen Netze ermöglichten die rasche Entwicklung neuartiger Lernalgorithmen, die unter anderem den Weg zu neuartigen Anwendungen von Robotern ebnen. Üblicherweise werden Roboter von menschlichen Experten programmiert, um vordefinierte Aufgaben zu erfüllen. Dabei müssen die Roboter in einer kontrollierten Umgebung arbeiten, um Wiederholbarkeit zu gewährleisten. Darüber hinaus, sind sie meist lediglich für eine einzige Aufgabe konzipiert und müssen kostspielig und zeitaufwändig konfiguriert werden. Im Bereich "Developmental Robotics" versuchen Forschende das Lernverhalten von Lebewesen künstlich zu imitieren. Die daraus resultierenden Lernalgorithmen sind der Schlüssel zur Entwicklung vielseitiger und robuster Roboter, die sich an ihre Umgebung anpassen und mehrere Aufgaben effizient lösen können. Insbesondere das Reinforcement Learning (RL) untersucht den Erwerb von Fähigkeiten, die allein durch Belohnungs- und Bestrafungssignale vermittelt werden. In dieser Arbeit werden wir RL eingehend behandeln und aktuelle Fortschritte in der Anwendung von RL in der Robotik präsentieren. Wir geben einen Überblick über das intrinsisch motivierte Lernen (IM), eine spezielle Form des RL, und wenden speziell das Prinzip des Active Efficient Coding (AEC) auf das Lernen des aktiven Sehens an. Wir geben auch einen Überblick über das hierarchische Verstärkungslernen (HRL), eine andere spezielle Form des RL, und wenden dessen Prinzip auf eine Robotermanipulationsaufgabe an.