(:requiretuid:)
Vorlesung: Lernende Roboter (Robot Learning)
Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an mail@jan-peters.net !!!
Quick Facts
| Vortragender: | Jan Peters |
| Zusaetzliche Betreuung: | Oliver Kroemer, Herke van Hoof |
| Termine: | Mittwochs, 14:25-16:05 im Raum S202/C120 |
| Donnerstags, 10:45-11:30 im Raum S202/C110 | |
| TU-CAN: | 20-00-0629-vl Lernende Roboter |
| Credits: | 6,0 |
| Exam: | 21.3.2013, 10:00 - 12:00, C120 |
Beschreibung
Die klassische Robotik hat bereits um 1980 einen hohen Reifegrad erreicht und man war in der Lage grosse Fabriken zur Produktion (:youtube qtqubguikMk :) von z.B. Autos komplett zu automatisieren. Trotz dieser beeindruckenden Leistungen haben weder moderne Serviceroboter noch die humanoiden Roboter die Fabrikgelaende verlassen und einen Platz als Robot Companion an unserer Seite eingenommen. Ein entscheidende Grund hierfuer ist es, dass es uns bis heute schwerer faellt, Roboter zu programmieren als Computer. Wenn Roboter ihre Aufgaben durch eine Mischung aus Imitation und Ausprobieren selber lernen koennten, dann wuerden sich voellig neue Perspektiven eroeffnen: vom Roboter der einem zu Hause Aufgaben abnimmt bis hin zur Produktion von Kleinserien wo die geringe Stueckzahl eine Roboter-basierte Produktion wegen der hohen Programmierkosten unmoeglich macht.
In der Forschung hat dieser Ansatz in den letzten zehn Jahren einen grossen Einfluss genommen und an allen Spitzenuniversitaeten der Welt wird in diesem Bereich geforscht. Der Erfolg dieser neuen Methoden wurde in einer Vielzahl von Beispielszenarien gezeigt: Autonome Helikopter welche von Lehrern komplexe Maneuver lernen, gehende Roboter lernen Ihre Fuesse mit verbessertem Halt aufzusetzen, selbstgelenkte Autos die mit hoher Geschwindigkeit in Parkluecken rasen, humanoide Roboter die einen Stab auf der Hand balancieren und anthropomorphe Arme welche Pfannkuchen umdrehen oder mit motorisch anspruchsvollem Spielzeug spielen.
Das Projektpraktikum Lernende Roboter bieten wir Attach:littleDogLearning.png Δ parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Lernproblem geloest werden und diese damit praktisch ausprobiert werden.
Lehrinhalte
Grundlagen fuer Lernende Roboter aus der Robotik & dem maschinellen Lernens, Modell-Lernen, Imitationslernen, Reinforcement Learning, Motor Primitive und Hierarchische Abstraktion, Apprenticeship Learning, Generalisierung von Plaenen, Anwendungszenarien und derzeitige grosse Herausforderungen.
Vorwissen
Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik
Office Hours
| Jan Peters (Professor) | Donnerstag, 11:40 - 12:40 |
| Oliver Kroemer (Teaching Assistant) | Dienstag, 15:00 - 16:00 |
Sprache
The lectures will be in English unless severe concerns exist...
Syllabus
| Date | Topic | Background Material |
|---|---|---|
| Mi, 17. Okt. | ''Introduction | Slides |
| Do, 18. Okt. | Foundations: Robotics in a Nutshell | Slides |
| Mi, 24. Okt. | ||
| Do, 25. Okt. | Example Problem on Kinematics and Dynamics | Example |
| Mi, 31. Okt. | Homework 1 Δ | |
| Do, 1. Nov. | Foundations: Statistical Learning for Autonomous Systems | Slides |
| Mi, 7. Nov. | ||
| Do, 8. Nov. | ||
| Mi, 14. Nov. | ||
| Do, 15. Nov. | ||
| Mi, 21. Nov. | ||
| Do, 22. Nov. | ||
| Mi, 28. Nov. | Model Learning for Robotics & Control | Slides Δ, Homework 1 due! |
| Do, 29. Nov. | TA presents solution to Homework 1. | Background Reading |
| Mi, 5. Dez. | Reinforcement Learning-Approach I: | Slides Δ , Homework 2 Δ |
| Do, 6. Dez. | Optimal Control with Approximate Learned Models | MATLAB Example Δ |
| Mi, 12. Dez. | Reinforcement Learning-Approach II: | Slides |
| Do, 13. Dez. | Value Function Methods | |
| Mi, 19. Dez. | Current Topics: Guest Lectures by Marc Deisenroth and Gerhard Neumann | |
| Bayesian Inference and Model Based Policy Search for Fast Learning in Robotics and RL | Slides Δ | |
| EM-based RL | Slides Δ Matlab Code Δ | |
| Do, 20. Dez. | TA presents solution to Homework 2. | |
| Mi, 16. Jan. | Reinforcement Learning-Approach III: | Slides Δ, Homework 2 due! |
| Do, 17. Jan. | Policy Search Methods | Homework 3 Δ |
| Mi, 23. Jan. | Imitation by Behavioral Cloning | Slides |
| Do, 24. Jan. | ||
| Mi, 30. Jan. | Imitation by Inverse Reinforcement Learning | Slides |
| Do, 31. Jan. | ||
| Mi, 6. Feb. | Homework 3 due! | |
| Do, 7. Feb. | TA presents solution to Homework 3. | Homework 4 Δ |
| Mi, 13. Feb. | ||
| Do, 14. Feb. |
Literatur
Robot Learning ist ein aktuelles Thema, fuer welches es keine Lehrbuecher gibt, aber eine Vielzahl guter Artikel welche Attach:aerobatics.png Δ oben eingefuegt sind.Es werden aber alle Slides auf dem Internet zur Verfuegung stehen.
Homeworks
Homework wird gemaess der Bonuspunkteregelung angerechnet, und nur vollstaendig angerechnet wenn es vor dem Vortraeg der Loesung durch den Teaching Assistant abgegeben wurde. Bei jeder unbegruendeten Verspaetung wird 30% oder mehr abgezogen, bei Kopieren wird die Uebung gar nicht angerechnet.
Betreuer
Die Vorlesung wird von Jan Peters gehalten und zusaetzlich von Oliver Kroemer betreut.
Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das Attach:janpeters.jpg Δ neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter peters@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.
Attach:kroemer.png Δ
Oliver Kroemer, M.Sc. ist obwohl er erst 25 Jahre alt ist bereits durch einschlaegige Publikationen im Bereich des Robot Learning bekannt und hat sich insbesondere durch Arbeit im Maschinellen Lernen fuer Robotergreifen, taktiler Exploration und Manipulation ausgezeichnet. Dabei hat er u.A. den ICINCO 2010 Best Paper Award gewonnen. Studiert hat Oliver Kroemer an der beruehmtesten Universitaet Europas, der Cambridge University. Fuer Rueckfragen auf Deutsch oder Englisch steht Oliver Kroemer unter oli@robot-learning.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Oliver Kroemer im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.
Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!