(:requiretuid:)
Seminar: Robot Learning
Quick Facts
| Organizers: | Jan Peters, Gerhard Neumann, Heni Ben Amor, Marc Deisenroth |
| Vorbesprechung: | Mo, 29. April 2013, 16:00-18:00, Raum S202-E302 |
| Themenwahl: | 1. Mai 2013 |
| Abgabe Seminararbeit: | 1. Juli. 2013 |
| Blockseminar: | Mo, 15. Juli 2013, 9:00-18:00, Raum S202-E202 |
| TU-CAN: | 20-00-0636-se Lernende Roboter |
| Credits: | 3,0 |
Einfuehrung
Die klassische Robotik hat bereits um 1980 einen hohen Reifegrad erreicht, und man war in der Lage grosse Fabriken zur Produktion (:youtube qtqubguikMk :) von z.B. Autos komplett zu automatisieren. Trotz dieser beeindruckenden Leistungen haben weder moderne Serviceroboter noch die humanoiden Roboter die Fabrikgelaende verlassen und einen Platz als Robot Companion an unserer Seite eingenommen. Ein entscheidender Grund hierfuer ist die Tatsache, dass es uns bis heute schwerer faellt, Roboter zu programmieren als Computer. Wenn Roboter ihre Aufgaben durch eine Mischung aus Imitation und Ausprobieren selber erlernen koennten, dann wuerden sich voellig neue Perspektiven eroeffnen: vom Roboter der die haeuslichen Aufgaben abnimmt bis hin zur Produktion von Kleinserien in welchen die geringe Stueckzahl eine Roboter-basierte Produktion wegen der hohen Programmierkosten unmoeglich macht.
In der Forschung hat dieser Ansatz in den letzten zehn Jahren einen grossen Einfluss genommen und an allen Spitzenuniversitaeten der Welt wird in diesem Bereich geforscht. Der Erfolg dieser neuen Methoden wurde in einer Vielzahl von Beispielszenarien gezeigt: Autonome Helikopter welche von Lehrern komplexe Maneuver lernen, gehende Roboter lernen Ihre Fuesse mit verbessertem Halt aufzusetzen, selbstgelenkte Autos die mit hoher Geschwindigkeit in Parkluecken rasen, humanoide Roboter die einen Stab auf der Hand balancieren und anthropomorphe Arme welche Pfannkuchen umdrehen oder mit motorisch anspruchsvollem Spielzeug spielen.
In diesem Seminar werden wir aktuelle Themen aus dem Robot Learning behandeln. Wir werden das Vorwissen aus der Vorlesung Robot Learning nicht voraussetzen. Das Seminar Robot Learning wird aber besonders fuer Studenten empfohlen, welche gleichzeitig das Projektpraktikum absolvieren.
Themengebiete
Das Forschungsgebiet Robot Learning ist sehr spannend und wir werden Arbeiten in den folgenden Bereichen vergeben:
- Model Learning for Robotics
- Robot Reinforcement Learning
- Policy Search
- Optimal Control with Learned Models
- Value Function Methods
- Machine Learning in Robot Soccer
- Inverse Reinforcement Learning
- Learning for control
- Applications of Robot Learning Systems
Diese Liste ist nie vollstaendig weil wir bereit sind, uns auf Interessen von Teilnehmern einzustellen! Studenten mit besonderen eigenen Interessen bitten wir, uns vor der Themenwahl rechtzeitg Bescheid zu sagen. Literatur wird bei der Vorbesprechung mitgeteilt.
Hier eine Liste von moeglichen Themen!
Vorwissen
Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik.
Format
Das Seminar wird als intensives Blockseminar angeboten. Es findet auf drei Termine verteilt statt: einer Vorbesprechung und zwei Seminartagen. Zwischen der Vorbesprechung und dem den zwei Seminartagen fertigen alle Teilnehmenden eine Seminararbeit und einen Seminarvortrag in Abstimmung mit ihren Betreuern an. Der Vortrag wird an den zwei Seminartagen vor dem gesamten Seminar gehalten. Die Termine sind oben angegeben. Sowohl Seminararbeiten und Seminarvortraege in Englisch werden besonders gefoerdert durch alle Betreuer da drei von ihnen im englischsprachigen Ausland promoviert haben.
Themenwahl
Bitte waehlen Sie aus der Liste von moeglichen Themen [link] sich drei Themen aus und schicken bis zum 1. Mai eine eMail an mail@jan-peters.net mit Ihrem Themenwunsch in dem Format:
| A > B > C | Entspricht ich moechte A lieber als B lieber als C. |
| A > B, C | Entspricht ich moechte A lieber als B oder C, aber ob B oder C ist dann auch egal. |
| A >> B > C | Entspricht ich moechte A ist mein Thema und ich goenne es NIEMANDEM. Wenn es sein muss nehme ich B oder C und dabei B lieber als C. |
Am 1. Mai teilen wir Ihnen voraussichtlich Ihr Thema mit. Wenn Ihr Betreuer sich nicht bei Ihnen direkt meldet, setzen Sie sich bitte mit ihm in Kontakt.
Vergebene Themen
Hier sind die Liste der Namen und Themen:
| Name | Topic Letter | Advisor |
| Björn Wild | J | Heni Ben Amor |
| Florian Schnell | C | Jan Peters |
| Stefan Lüttgen | G | Heni Ben Amor |
| Oleg Arenz | L | Gerhard Neumann |
| Denny Dittmar | F | Marc Deisenroth |
| Jonas Mantel | K | Heni Ben Amor |
| Robert Nitsch | I | Gerhard Neumann |
| Florian Kunz | D | Heni Ben Amor |
| Martin Tschirsich | A | Jan Peters |
Teilnehmer, die sich nicht auf dieser wiederfinden sollen sich bitte schnellstmoeglich melden.
Bitte nehmen Sie umgehend mit Ihrem Betreuer Kontakt auf falls er es nicht selber tut. Die Liste der Themen finden Sie HIER!
Seminararbeit
In der Seminararbeit verwenden Sie bitte das folgende NIPS Format [download here]. Uns ist nicht wichtig wieviele Seiten Sie schreiben, sondern das Sie eine hohe Qualitaet in der Arbeit erreichen. Um Qualitaet zu erreichen, achten Sie bitte auf die folgenden Aspekte bei Ihrer Arbeit:
- Structure of Contents / Gliederung
- Comprehensibility / Verstaendlichkeit
- Quality of Illustrations / Illustrationsqualitaet
- Quality of Bibliography/Qualitaet des Literaturverzeichnisses
- Appropriate Citations? Passende Zitierungen?
- Extra: Read more papers? Mehr Papiere bearbeitet?
- Extra: Own ideas? / Eigene neue Ideen?
- Extra: Implemented the Algorithms / Mit Implementierung?
- Extra: Arbeit auf Englisch? Paper in English!
Als grobe Richtlinie: 7-10 Seiten im NIPS Format (ohne das Literaturverzeichnis) reichen uns vollkommen, wenn sie gut geschrieben sind.
Ein paar Tips zum Schreiben von guten Seminararbeiten und Artikeln finden Sie [hier].
Bitte senden Sie Ihrem Betreuer bis spaetestens zum
15. Mai
ein PDF was zumindest den Table Of Contents Ihrer Seminararbeit enthaelt und stellen Sie am
1. Juni
die Arbeit in Rohform ihrem Betreuer vor.
Seminarvortrag
Bitte bereiten Sie einen Seminarvortrag mit einer Laenge von 25 Minuten vor. Diese Dauer ist strikt und darf nicht ueberschritten werden. Nach dem Seminarvortrag muessen Sie mit 5-10 Minuten Fragen rechnen. Bitte sprechen Sie rechtzeitig vor dem Blockseminar mit Ihrem Betreuer Ihren Vortrag ab bzw schicken Sie ihm die Folien.
Wichtig sind uns bei den Vortraegen besonders:
- Structure of Contents / Gliederung
- Sufficient Content? Genuegend Inhalte praesentiert?
- Good Illustrations: Pictures, Movies, Diagrams?
- Eigenes Verstaendnis/Can the presenter explain all equations slides?
Tips zu Vortraegen finden Sie wiederum [hier]. Besonders hervorheben moechten wir [diesen Guide hier].
BeobachterIn: Praesentationszusammenfassung
Jeder Teilnehmer kommentiert genau eine andere Praesentation und fasst diese in genau 5 Minuten zusammen. Hierbei soll der/die BeobachterIn sowohl hervorheben was wichtig war als auch konstruktive Kritik ueben. Das Thema wird nach Abgabe der Seminararbeiten mitgeteilt und die Seminararbeit wird dem/der BeobachterIn rechtzeitig zur Verfuegung gestellt.
Hier die Liste der abgegebenen Seminararbeiten:
- Arenz, O. (2013). Inverse Optimal Control, Seminar Thesis, Proceedings of the Robot Learning Seminar.
- Dittmar, D. (2013). Slice Sampling, Seminar Thesis, Proceedings of the Robot Learning Seminar.
- Schnell, F. (2013). Hierarchical Reinforcement Learning in Robot Control, Seminar Thesis, Proceedings of the Robot Learning Seminar.
- Tschirsich, M. (2013). Learning Robot Control, Seminar Thesis, Proceedings of the Robot Learning Seminar.
Betreuer
Fuer dieses Seminar steht eine exzellente Betreuung zur Verfuegung bestehend aus sechs weltweit anerkannten Experten. Zwei von diesen kommen extra von ausserhalb fuer dieses Seminar.
Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das 
neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.
Dr. Heni Ben Amor beschaeftigt sich mit Imitations- 
und Interaktionslernen fuer Humanoide Roboter und mit dem Lernen. Promoviert hat Heni Ben Amor an der TU Freiberg aber er hat umfangreiche Erfahrungen in der japanischen Robotik gesammelt durch zahlreiche Aufenthalte an der Osaka University. Fuer Rueckfragen auf Deutsch oder Englisch steht Heni Ben Amor unter amor@ias.tu-darmstadt.de zur Verfuegung.
Dr. Gerhard Neumann forscht im Bereich des Reinforcement Learning 
zum Erwerb von Motorfaehigkeiten. Promoviert hat Gerhard Neumann an der Technischen Universitaet Graz. Fuer Rueckfragen auf Deutsch oder Englisch steht Gerhard Neumann unter geri@robot-learning.de zur Verfuegung.
Dr. Marc Deisenroth forscht im Bereich des Probabilistischen 
und Bayesianischen Maschinellen Lernens im Speziellen Anwendungszusammenhang zu Control und Robotik. Hierbei liegen seine Schwerpunkte in der Nutzung von Gaußschen Prozessen im Filtern, fuer Vorwärtsmodelle und zur Regelung. Seine Doktorarbeit fertigte Marc Deisenroth am Max Planck Institut für Biologische Kybernetik und an der Cambridge University an. Danach verbrachte er zwei Jahre als Post-Doc an der University of Washington in Seattle. Für Rückfragen auf Deutsch oder Englisch steht Marc Deisenroth unter marc@ias.tu-darmstadt.de zur Verfügung.
Da sowohl alle Betreuer auch im Ausland studiert bzw. promoviert haben, stehen Sie auch fuer Fragen zum Auslandsstudium zur Verfuegung.