(:requiretuid:)

Vorlesung: Lernende Roboter (Robot Learning)

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an neumann@ias.tu-darmstadt,de !!!

Quick Facts

Vortragende:Gerhard Neumann, Jan Peters
Zusaetzliche Betreuung:Alexandros Paraschos, Roberto Calandra
Termine:Mittwochs, 13:30-15:10 im Raum S202/C120
 Donnerstags, 10:45-11:30 im Raum S202/C110
TU-CAN:20-00-0629-vl Lernende Roboter
Credits:6,0
Exam:Do, 20. Mär. 2014 10:00-12:00

Beschreibung

Die klassische Robotik hat bereits um 1980 einen hohen Reifegrad erreicht und man war in der Lage grosse Fabriken zur Produktion (:youtube qtqubguikMk :) von z.B. Autos komplett zu automatisieren. Trotz dieser beeindruckenden Leistungen haben weder moderne Serviceroboter noch die humanoiden Roboter die Fabrikgelaende verlassen und einen Platz als Robot Companion an unserer Seite eingenommen. Ein entscheidende Grund hierfuer ist es, dass es uns bis heute schwerer faellt, Roboter zu programmieren als Computer. Wenn Roboter ihre Aufgaben durch eine Mischung aus Imitation und Ausprobieren selber lernen koennten, dann wuerden sich voellig neue Perspektiven eroeffnen: vom Roboter der einem zu Hause Aufgaben abnimmt bis hin zur Produktion von Kleinserien wo die geringe Stueckzahl eine Roboter-basierte Produktion wegen der hohen Programmierkosten unmoeglich macht.

In der Forschung hat dieser Ansatz in den letzten zehn Jahren einen grossen Einfluss genommen und an allen Spitzenuniversitaeten der Welt wird in diesem Bereich geforscht. Der Erfolg dieser neuen Methoden wurde in einer Vielzahl von Beispielszenarien gezeigt: Autonome Helikopter welche von Lehrern komplexe Maneuver lernen, gehende Roboter lernen Ihre Fuesse mit verbessertem Halt aufzusetzen, selbstgelenkte Autos die mit hoher Geschwindigkeit in Parkluecken rasen, humanoide Roboter die einen Stab auf der Hand balancieren und anthropomorphe Arme welche Pfannkuchen umdrehen oder mit motorisch anspruchsvollem Spielzeug spielen.

Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Lernproblem geloest werden und diese damit praktisch ausprobiert werden.

Lehrinhalte

Grundlagen fuer Lernende Roboter aus der Robotik & dem maschinellen Lernens, Modell-Lernen, Imitationslernen, Reinforcement Learning, Motor Primitive und Hierarchische Abstraktion, Apprenticeship Learning, Generalisierung von Plaenen, Anwendungszenarien und derzeitige grosse Herausforderungen.

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in Matlab und C, Grundlagen den Informatik

Office Hours

Gerhard Neumann (Vortragender)Mittwoch, 10:40 - 11:40
Alexandros Paraschos and Roberto Calandra (Teaching Assistants)Dienstag, 15:00 - 16:00

Sprache

The lectures will be in English unless severe concerns exist...

Syllabus

DateTopicBackground Material
Mi, 16. Okt.Introduction 
Do, 17. Okt.  
Mi, 23. Okt.  
Do, 24. Okt.  
Mi, 30. Okt.  
Do, 31. Okt.  
Mi, 6. Nov.  
Do, 7. Nov.  
Mi, 13. Nov.  
Do, 14. Nov.  
Mi, 20. Nov.  
Do, 21. Nov.  
Mi, 27. Nov.  
Do, 28. Nov.  
Mi, 4. Dez.  
Do, 5. Dez.  
Mi, 11. Dez.  
Do, 12. Dez.  
Mi, 18. Dez.  
Do, 19. Dez.  
Mi, 15. Jan.  
Do, 16. Jan.  
Mi, 22. Jan.  
Do, 23. Jan.  
Mi, 29. Jan.  
Do, 30. Jan.  
Mi, 5. Feb.  
Do, 6. Feb.  
Mi, 12. Feb.  
Do, 13. Feb.  

Literatur

Robot Learning ist ein aktuelles Thema, fuer welches es keine Lehrbuecher gibt, aber eine Vielzahl guter Artikel welche unterhalb eingefuegt sind.Es werden aber alle Slides auf dem Internet zur Verfuegung stehen.


    •       Bib
      Deisenroth, M. P.; Neumann, G.; Peters, J. (2013). A Survey on Policy Search for Robotics, Foundations and Trends in Robotics, 21, pp.388-403.
    •       Bib
      Kober, J.; Bagnell, D.; Peters, J. (2013). Reinforcement Learning in Robotics: A Survey, International Journal of Robotics Research (IJRR), 32, 11, pp.1238-1274.
    •     Bib
      Nguyen Tuong, D.; Peters, J. (2011). Model Learning in Robotics: a Survey, Cognitive Processing, 12, 4.

Homeworks

Homework wird gemaess der Bonuspunkteregelung angerechnet, und nur vollstaendig angerechnet wenn es vor dem Vortraeg der Loesung durch den Teaching Assistant abgegeben wurde. Bei jeder unbegruendeten Verspaetung wird 30% oder mehr abgezogen, bei Kopieren wird die Uebung gar nicht angerechnet.

Betreuer

Gerhard Neumann ist seit November 2011 PostDoc am Institut für Autonome und Intelligente Systeme (IAS). Sein Forschungsschwerpunkt ist neue Methoden des Maschinelles Lernens für Roboter zu entwickeln welche ein daten-effizientes Lernen von vielseitigen motorischen Skills erlaubt. Fuer Rueckfragen auf Deutsch oder Englisch steht Gerhard Neumann unter neumann@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Gerhard Neumann im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter peters@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Alexandros Paraschos ist seit Februar 2012 PhD Student am IAS. Seine Forschung beschäftigt sich mit der Entwicklung neuer Methoden für Movement Primitives und das Lernen von Controllern für Tendon-Driven Robots. Fuer Rueckfragen auf Englisch steht Alexandros Paraschos unter paraschos@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Alexandros Paraschos im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.

Roberto Calandra ist seit Januar 2012 PhD Student am IAS. Seine Forschung konzentriet sich um Gaussian Prozesse und Bayesian Optimization. Fuer Rueckfragen auf Englisch steht Roberto Calandra unter calandra@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Roberto Calandra im Robert-Piloty Gebaeude S2|02 im Raum E323 zu finden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!