Robot Learning Seminar Teaching
Seminar: Robot Learning
Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an mail@jan-peters.net !!!
Quick Facts
| Organizers: | Jan Peters, Abdeslam Boularias, Gerhard Neumann, Heni Ben Amor, Marc Deisenroth, Philipp Hennig |
| Vorbesprechung: | Mo, 30. April 2012, 16:00-18:00, Raum S202-E302 |
| Themenwahl: | Di., 1. Mai 2012 |
| Abgabe Seminararbeit: | Mo., 10. Juli. 2012 |
| Blockseminar: | Mo, 16. Juli 2012, 8:00-18:00, Raum S202-A313 |
| Di, 17. Juli 2012, 8:00-18:00, Raum S202-A313 | |
| TU-CAN: | 20-00-0636-se Lernende Roboter |
| Credits: | 3,0 |
Es gibt immer noch nicht vergebene Seminararbeiten! Falls Sie bei nicht da waren, kein Problem, bitte melden Sie sich (es hat bei der Raumvergabe ein Missverstaendnis gegeben).
Einfuehrung
Die klassische Robotik hat bereits um 1980 einen hohen Reifegrad erreicht, und man war in der Lage grosse Fabriken zur Produktion von z.B. Autos komplett zu automatisieren. Trotz dieser beeindruckenden Leistungen haben weder moderne Serviceroboter noch die humanoiden Roboter die Fabrikgelaende verlassen und einen Platz als Robot Companion an unserer Seite eingenommen. Ein entscheidender Grund hierfuer ist die Tatsache, dass es uns bis heute schwerer faellt, Roboter zu programmieren als Computer. Wenn Roboter ihre Aufgaben durch eine Mischung aus Imitation und Ausprobieren selber erlernen koennten, dann würden sich völlig neue Perspektiven eröffnen: vom Roboter der die haeuslichen Aufgaben abnimmt bis hin zur Produktion von Kleinserien in welchen die geringe Stückzahl eine Roboter-basierte Produktion wegen der hohen Programmierkosten unmöglich macht.
In der Forschung hat dieser Ansatz in den letzten zehn Jahren einen grossen Einfluss genommen und an allen Spitzenuniversitäten der Welt wird in diesem Bereich geforscht. Der Erfolg dieser neuen Methoden wurde in einer Vielzahl von Beispielszenarien gezeigt: Autonome Helikopter welche von Lehrern komplexe Manöver lernen, gehende Roboter lernen Ihre Füsse mit verbessertem Halt aufzusetzen, selbstgelenkte Autos die mit hoher Geschwindigkeit in Parklücken rasen, humanoide Roboter die einen Stab auf der Hand balancieren und anthropomorphe Arme welche Pfannkuchen umdrehen oder mit motorisch anspruchsvollem Spielzeug spielen.
In diesem Seminar werden wir aktuelle Themen aus dem Robot Learning behandeln. Wir werden das Vorwissen aus der Vorlesung Robot Learning nicht voraussetzen. Das Seminar Robot Learning wird aber besonders für Studenten empfohlen, welche gleichzeitig das Projektpraktikum absolvieren.
Themengebiete
Das Forschungsgebiet Robot Learning ist sehr spannend und wir werden Arbeiten in den folgenden Bereichen vergeben:
- Model Learning for Robotics
- Robot Reinforcement Learning
- Policy Search
- Optimal Control with Learned Models
- Value Function Methods
- Machine Learning in Robot Soccer
- Inverse Reinforcement Learning
- Learning for control
- Applications of Robot Learning Systems
Diese Liste ist nie vollstaendig weil wir bereit sind, uns auf Interessen von Teilnehmern einzustellen! Studenten mit besonderen eigenen Interessen bitten wir, uns vor dem 1. Mai 2012 Bescheid zu sagen. Literatur wird bei der Vorbesprechung am 30. April 2012 mitgeteilt.
Hier eine Liste von moeglichen Themen!
Vorwissen
Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik.
Format
Das Seminar wird als intensives Blockseminar angeboten. Es findet auf drei Termine verteilt statt: einer Vorbesprechung und zwei Seminartagen. Zwischen der Vorbesprechung und dem den zwei Seminartagen fertigen alle Teilnehmenden eine Seminararbeit und einen Seminarvortrag in Abstimmung mit ihren Betreuern an. Der Vortrag wird an den zwei Seminartagen vor dem gesamten Seminar gehalten. Die Termine sind:
| Vorbesprechung: | Mo, 30. Apr. 2012 | 16:00-18:30 | Raum S202-A313 |
| Seminartag 1: | Mo, 16. Juli 2012 | 8:00-18:00 | Raum S202-A313 |
| Seminartag 2: | Di, 17. Juli 2012 | 8:00-18:00 | Raum S202-A313 |
Bitte beachten Sie auch die folgenden Termine:
| Themenwahl: | Di., 1. Mai. 2012 |
| Abgabe Seminararbeit: | Mo., 10. Juli. 2012 |
Sowohl Seminararbeiten und Seminarvortraege in Englisch werden besonders gefoerdert durch alle Betreuer da drei von ihnen im englischsprachigen Ausland promoviert haben.
Themenwahl
Bitte waehlen Sie aus der Liste von moeglichen Themen [link] sich drei Themen aus und schicken bis zum 1. Mai 2012 eine eMail an mail@jan-peters.net mit Ihrem Themenwunsch in dem Format:
| A > B > C | Entspricht ich moechte A lieber als B lieber als C. |
| A > B, C | Entspricht ich moechte A lieber als B oder C, aber ob B oder C ist dann auch egal. |
| A >> B > C | Entspricht ich moechte A ist mein Thema und ich goenne es NIEMANDEM. Wenn es sein muss nehme ich B oder C und dabei B lieber als C. |
Am 8. Mai 2012 teilen wir Ihnen voraussichtlich Ihr Thema mit. Wenn Ihr Betreuer sich nicht bei Ihnen direkt meldet, setzen Sie sich bitte mit ihm in Kontakt.
Vergebene Themen
Hier sind die Liste der Namen und Themen:
| Name | Topic Letter | Topic | Advisor |
| Malte Viering | C | Hierarchical Reinforcement Learning in Robot Control | Jan |
| Alexander Gabriel | I | Structure Learning for Decision Making | Geri |
| Jan Reubold | O | Kernel Descriptor Features in Computer Vision | Philipp |
| Stefan Zieringer | N.A. | Success stories of Learning Methods | Abdeslam |
| Nakul Goppalan | L | Gaussian Process Latent Variable Models for Dimensionality Reduction and Time Series Modeling | Marc |
| Tobias Thiel | P | Learning in Robot Soccer | Abdeslam |
| Tobias Plötz | N | Expectation Propagation and Variational Methods for Approximate Bayesian Inference | Marc |
| Johann Isaak | M | Interaction Learning | Heni |
| Thomas Graber | J2 | Models for Biological Motor Control: Optimality Principles | Geri |
| Ragnar Mogk | Q | Planning under Uncertainty | Abdeslam |
| Manuel Kroenig | F | Style-based Character Animation and Style Translation | Heni |
| Rudolf Lioutikov | N.A. | The neuroscience of reinforcement learning | Jan |
| Christian Glaser | E | Application of Learning in Mobile Robotics | Philipp |
| Irina Alles | J1 | Models for Biological Motor Control: Modularity | Geri |
| Mindt Max | A | Learning robot control | Jan |
Teilnehmer, die sich nicht auf dieser wiederfinden sollen sich bitte schnellstmoeglich melden.
Bitte nehmen Sie umgehend mit Ihrem Betreuer Kontakt auf falls er es nicht selber tut. Die Liste der Themen finden Sie HIER!
Seminararbeit
In der Seminararbeit verwenden Sie bitte das folgende NIPS Format [download here]. Uns ist nicht wichtig wieviele Seiten Sie schreiben, sondern das Sie eine hohe Qualitaet in der Arbeit erreichen. Um Qualitaet zu erreichen, achten Sie bitte auf die folgenden Aspekte bei Ihrer Arbeit:
- Structure of Contents / Gliederung
- Comprehensibility / Verständlichkeit
- Quality of Illustrations / Illustrationsqualität
- Quality of Bibliography/Qualität des Literaturverzeichnisses
- Appropriate Citations? Passende Zitierungen?
- Extra: Read more papers? Mehr Papiere bearbeitet?
- Extra: Own ideas? / Eigene neue Ideen?
- Extra: Implemented the Algorithms / Mit Implementierung?
- Extra: Arbeit auf Englisch? Paper in English!
Als grobe Richtlinie: 7-10 Seiten im NIPS Format (ohne das Literaturverzeichnis) reichen uns vollkommen, wenn sie gut geschrieben sind.
Ein paar Tips zum Schreiben von guten Seminararbeiten und Artikeln finden Sie [hier] und [hier].
Bitte senden Sie Ihrem Betreuer bis spaetestens zum
1. Juni 2012
ein PDF was zumindest den Table Of Contents Ihrer Seminararbeit enthaelt.
Seminarvortrag
Bitte bereiten Sie einen Seminarvortrag mit einer Laenge von 25 Minuten vor. Diese Dauer ist strikt und darf nicht ueberschritten werden. Nach dem Seminarvortrag muessen Sie mit 5-10 Minuten Fragen rechnen. Bitte sprechen Sie rechtzeitig vor dem Blockseminar mit Ihrem Betreuer Ihren Vortrag ab bzw schicken Sie ihm die Folien.
Wichtig sind uns bei den Vortraegen besonders:
- Structure of Contents / Gliederung
- Sufficient Content? Genügend Inhalte präsentiert?
- Good Illustrations: Pictures, Movies, Diagrams?
- Eigenes Verständnis/Can the presenter explain all equations slides?
Tips zu Vortraegen finden Sie wiederum [hier] und [hier]. Besonders hervorheben moechten wir [diesen Guide hier].
BeobachterIn: Präsentationszusammenfassung
Jeder Teilnehmer kommentiert genau eine andere Präsentation und fasst diese in genau 5 Minuten zusammen. Hierbei soll der/die BeobachterIn sowohl hervorheben was wichtig war als auch konstruktive Kritik ueben. Das Thema wird nach Abgabe der Seminararbeiten mitgeteilt und die Seminararbeit wird dem/der BeobachterIn rechtzeitig zur Verfuegung gestellt.
Betreuer
Fuer dieses Seminar steht eine exzellente Betreuung zur Verfuegung bestehend aus sechs weltweit anerkannten Experten. Zwei von diesen kommen extra von ausserhalb fuer dieses Seminar.
Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das 
neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.
Dr. Abdeslam Boularias ist ein weltbekannter Forscher im Bereich von Reinforcement Learning (d.h., Lernen durch Versuch und Fehler) und im Apprenticeship Learning (d.h., der Rekonstruktion der Kostenfunktion des Lehrers um ihn optimal nachzuahmen). Abdeslam Boularias hat in Kanada an der bekannten Laval University promoviert und wird extra zu diesem Blockseminar an die TU Darmstadt kommen. Fuer Rueckfragen auf Englisch steht Abdeslam Boularias unter abdeslam.boularias@tuebingen.mpg.de zur Verfuegung.
Dr. Heni Ben Amor beschaeftigt sich mit Imitations- 
und Interaktionslernen fuer Humanoide Roboter und mit dem Lernen. Promoviert hat Heni Ben Amor an der TU Freiberg aber er hat umfangreiche Erfahrungen in der japanischen Robotik gesammelt durch zahlreiche Aufenthalte an der Osaka University. Fuer Rueckfragen auf Deutsch oder Englisch steht Heni Ben Amor unter amor@ias.tu-darmstadt.de zur Verfuegung.
Dr. Gerhard Neumann forscht im Bereich des Reinforcement Learning 
zum Erwerb von Motorfaehigkeiten. Promoviert hat Gerhard Neumann an der Technischen Universitaet Graz. Fuer Rueckfragen auf Deutsch oder Englisch steht Gerhard Neumann unter geri@robot-learning.de zur Verfuegung.
Dr. Marc Deisenroth forscht im Bereich des Probabilistischen 
und Bayesianischen Maschinellen Lernens im Speziellen Anwendungszusammenhang zu Control und Robotik. Hierbei liegen seine Schwerpunkte in der Nutzung von Gaußschen Prozessen im Filtern, fuer Vorwärtsmodelle und zur Regelung. Seine Doktorarbeit fertigte Marc Deisenroth am Max Planck Institut für Biologische Kybernetik und an der Cambridge University an. Danach verbrachte er zwei Jahre als Post-Doc an der University of Washington in Seattle. Für Rückfragen auf Deutsch oder Englisch steht Marc Deisenroth unter marc@ias.tu-darmstadt.de zur Verfügung.
Dr. Philipp Hennig forscht im Bereich des Probabilistischen 
und Bayesianischen Maschinellen Lernens. Philipp Hennig ist am Max Planck Institut fuer Intelligente Systeme angestellt und wird - genau wie Dr. Boularias - extra fuer dieses Seminar nach Darmstadt kommen. Promoviert hat Philipp Hennig an der beruehmtesten Universitaet Europas, der Cambridge University. Fuer Rueckfragen auf Deutsch oder Englisch steht Philipp Hennig unter philipp.hennig@tuebingen.mpg.de zur Verfuegung.
Da sowohl Abdeslam Boularias, Heni Ben-Amor, Jan Peters, Marc Deisenroth und Philipp Hennig im Ausland studiert bzw. promoviert haben, stehen Sie auch fuer Fragen zum Auslandsstudium zur Verfuegung.
