Autonome Lernsysteme - vom Algorithmus zur Anwendung Teaching
Autonome Lernsysteme - vom Algorithmus zur Anwendung
Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an mail@jan-peters.net !!!
Quick Facts
| Organizers: | Jan Peters, Abdeslam Boularias, Philipp Hennig |
| Vorbesprechung: | Mi, 19. Okt. 2011, 17:00-18:30, Raum S202-A313 |
| Themenwahl: | Fr., 28. Okt. 2011 |
| Abgabe Seminararbeit: | Fr. 10. Feb. 2012 |
| Blockseminar: | Mi, 22. Feb. 2012, 8:45-18:00, Raum S202-E302 |
| Do, 23. Feb. 2012, 8:00-18:00, Raum S202-E302 (second day canceled because of dropouts) | |
| TU-CAN: | 20-00-0631-se Autonome Lernende Systeme - Vom Algorithmus zur Anwendung |
| Credits: | 3,0 |
Einfuehrung
Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme 
zu erstellen, die aus Daten guten Schluesse ziehen. Die Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. In diesem Seminar beschaeftigen wir uns mit dem spannenden Thema:
aus der Perspektive des maschinellem Lernens. Es wird eine Vielzahl von Themen in diesem Bereich behandelt und die Betreuung wird durch drei weltbekannte Experten in diesem Bereich stattfinden.
Themengebiete
Das Forschungsgebiet Autonome Lernsysteme ist sehr gross. In diesem Seminar wuerden wir uns besonders auf die folgenden Themen konzentrieren:
- Reinforcement Learning
- Inverse Reinforcement Learning
- Learning physical models of robots
- Probabilistic inference for autonomous learning
- Search and planning for autonomous systems
- Optimization
- Partially Observable Markov Decision Problems
- Learning in multi-agent systems
- Exploration-Exploitation Trade-Off in Bandits
- Contextual Bandits
- Learning in adversarial systems and games
- Learning for control
- Probabilistic system identification
- Philosophical foundations (e.g., from an AI, Probability / Information / Decision Theory or No-Free-Lunch point of view…) of autonomous learning systems
- Applications of Autonomous Learning Systems in Software Agents (e.g., at Google or Yahoo)
- Applications in Robot Learning Systems
Diese Liste ist nie vollstaendig weil wir bereit sind, uns auf Interessen von Teilnehmern einzustellen! Studenten mit besonderen eigenen Interessen bitten wir, uns vor dem 19. Okt. 2011 Bescheid zu sagen. Literatur wird bei der Vorbesprechung am 19. Okt. 2011 ausgeteilt.
Hier eine Liste von moeglichen Themen!
Vorwissen
Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik.
Format
Das Seminar wird als intensives Blockseminar angeboten. Es findet auf drei Termine verteilt statt: einer Vorbesprechung und zwei Seminartagen. Zwischen der Vorbesprechung und dem den zwei Seminartagen fertigen alle Teilnehmenden eine Seminararbeit und einen Seminarvortrag in Abstimmung mit ihren Betreuern an. Der Vortrag wird an den zwei Seminartagen vor dem gesamten Seminar gehalten. Die Termine sind:
| Vorbesprechung: | Mi, 19. Okt. 2011 | 17:00-18:30 | Raum S202-A313 |
| Seminartag: | Mi, 22. Feb. 2012 | 8:45-18:00 | Raum S202-E302 |
Bitte beachten Sie auch die folgenden Termine:
| Themenwahl: | Fr., 28. Okt. 2011 |
| Abgabe Seminararbeit: | Fr. 10. Feb. 2012 |
Sowohl Seminararbeiten und Seminarvortraege in Englisch werden besonders gefoerdert durch alle drei Betreuer da diese alle im englischsprachigen Ausland promoviert haben.
Themenwahl
Bitte waehlen Sie aus der Liste von moeglichen Themen [link] sich drei Themen aus und schicken bis zum Freitag den 28. Okt. 2011 eine eMail an mail@jan-peters.net mit Ihrem Themenwunsch in dem Format:
| A > B > C | Entspricht ich moechte A lieber als B lieber als C. |
| A > B, C | Entspricht ich moechte A lieber als B oder C, aber ob B oder C ist dann auch egal. |
| A >> B > C | Entspricht ich moechte A ist mein Thema und ich goenne es NIEMANDEM. Wenn es sein muss nehme ich B oder C und dabei B lieber als C. |
Am 31. Okt 2011 teilen wir Ihnen voraussichtlich Ihr Thema mit. Wenn Ihr Betreuer sich nicht bei Ihnen direkt meldet, setzen Sie sich bitte mit ihm in Kontakt.
Vergebene Themen
Hier sind die Liste der Namen und Themen:
| Name | Topic | Reporter | Advisor |
| Oleg Arenz | R | Q | Philipp Hennig |
| Christoph Dann | C | X | Jan Peters |
| Peter Englert | F | H | Jan Peters |
| Arthur Fischer | E | L1 | Abdeslam Boularias |
| Sergej Hardock | X | A | Jan Peters |
| Michael Kutschke | A | E | Abdeslam Boularias |
| Jochen Mück | H | S1 | Jan Peters |
| Thomas Pignede | Q | R | Philipp Hennig |
| Dominik Schönberger | L1 | F | Abdeslam Boularias |
| Svenja Stark | S1 | C | Philipp Hennig |
Bitte nehmen Sie umgehend mit Ihrem Betreuer Kontakt auf falls er es nicht selber tut. Die Liste der Themen finden Sie HIER!
Seminararbeit
In der Seminararbeit verwenden Sie bitte das folgende NIPS Format [download here]. Uns ist nicht wichtig wieviele Seiten Sie schreiben, sondern das Sie eine hohe Qualitaet in der Arbeit erreichen. Um Qualitaet zu erreichen, achten Sie bitte auf die folgenden Aspekte bei Ihrer Arbeit:
- Structure of Contents / Gliederung
- Comprehensibility / Verständlichkeit
- Quality of Illustrations / Illustrationsqualität
- Quality of Bibliography/Qualität des Literaturverzeichnisses
- Appropriate Citations? Passende Zitierungen?
- Extra: Read more papers? Mehr Papiere bearbeitet?
- Extra: Own ideas? / Eigene neue Ideen?
- Extra: Implemented the Algorithms / Mit Implementierung?
- Extra: Arbeit auf Englisch? Paper in English!
Als grobe Richtlinie: 7-10 Seiten im NIPS Format (ohne das Literaturverzeichnis) reichen uns vollkommen, wenn sie gut geschrieben sind.
Ein paar Tips zum Schreiben von guten Seminararbeiten und Artikeln finden Sie [hier] und [hier].
Bitte senden Sie Ihrem Betreuer bis spaetestens zum
December 9, 2011
ein PDF was zumindest den Table Of Contents Ihrer Seminararbeit enthaelt.
Seminararbeiten
Die folgenden Seminararbeiten wurden (bisher) eingereicht:
Arenz, O. (2012). Extensive Games, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Dann, C. (2012). Algorithms for Fast Gradient Temporal Difference Learning, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Englert, P. (2012). Locally Weighted Learning, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Fischer, A. (2012). Inverse Reinforcement Learning, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Hardock, S. (2012). Applications in Robot Helicopter Acrobatics, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Kutschke, M. (2012). Imitation Learning, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Mueck, J. (2012). Learning physical Models of Robots, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Pignede, T. (2012). Evolution of Reinforcement Learning in Games or How to Win against Humans with Intelligent Agents, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Schoenberger, D. (2012). Planning in POMDPs, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Stark, S. (2012). Do Reinforcement Learning Models Explain Neural Learning?, Seminar Thesis, Proceedings of the Autonomous Learning Systems Seminar download
Seminarvortrag
Bitte bereiten Sie einen Seminarvortrag mit einer Laenge von 25 Minuten vor. Diese Dauer ist strikt und darf nicht ueberschritten werden. Nach dem Seminarvortrag muessen Sie mit 5-10 Minuten Fragen rechnen. Bitte sprechen Sie rechtzeitig vor dem Blockseminar mit Ihrem Betreuer Ihren Vortrag ab bzw schicken Sie ihm die Folien.
Wichtig sind uns bei den Vortraegen besonders:
- Structure of Contents / Gliederung
- Sufficient Content? Genügend Inhalte präsentiert?
- Good Illustrations: Pictures, Movies, Diagrams?
- Eigenes Verständnis/Can the presenter explain all equations slides?
Tips zu Vortraegen finden Sie wiederum [hier] und [hier]. Besonders hervorheben moechten wir [diesen Guide hier].
BeobachterIn: Präsentationszusammenfassung
Jeder Teilnehmer kommentiert genau eine andere Präsentation und fasst diese in genau 5 Minuten zusammen. Hierbei soll der/die BeobachterIn sowohl hervorheben was wichtig war als auch konstruktive Kritik ueben. Das Thema wird nach Abgabe der Seminararbeiten mitgeteilt und die Seminararbeit wird dem/der BeobachterIn rechtzeitig zur Verfuegung gestellt.
Seminar
| 8:45-8:59 | Welcome and Formalities |
|---|---|
| 9:00-9:34 | Imitation Learning |
| 25min | Thesis Presentation: Michael Kutschke |
| 5min | Questions of the Audience |
| 5min | Reporter: Sergej Hardock |
| 9:35-10:09 | Learning physical Models of Robots |
| 25min | Thesis Presentation: Jochen Mück |
| 5min | Questions of the Audience |
| 5min | Reporter: Peter Englert |
| 10:10-10:44 | Locally Weighted Learning |
| 25min | Thesis Presentation: Peter Englert |
| 5min | Questions of the Audience |
| 5min | Reporter: Dominik Schönberger |
| 10:45-11:14 | Coffee Break |
| 11:15-11:49 | Inverse Reinforcement Learning |
| 25min | Thesis Presentation: Arthur Fischer |
| 5min | Questions of the Audience |
| 5min | Reporter: Michael Kutschke |
| 11:50-12:24 | Applications in Robot Helicopter Acrobatics |
| 25min | Thesis Presentation: Sergej Hardock |
| 5min | Questions of the Audience |
| 5min | Reporter: Christoph Dann |
| 12:25-13:59 | Lunch Break |
| 14:00-14:34 | Extensive Games |
| 25min | Thesis Presentation: Oleg Arenz |
| 5min | Questions of the Audience |
| 5min | Reporter: Thomas Pignede |
| 14:35-15:09 | Evolution of Reinforcement Learning in Games or How to Win against Humans with Intelligent Agents |
| 25min | Thesis Presentation: Thomas Pignede |
| 5min | Questions of the Audience |
| 5min | Reporter: Oleg Arenz |
| 15:10-15:44 | Algorithms for Fast Gradient Temporal Difference Learning |
| 25min | Thesis Presentation: Christoph Dann |
| 5min | Questions of the Audience |
| 5min | Reporter: Svenja Stark |
| 15:45-16:14 | Coffee Break |
| 16:15-16:49 | Do Reinforcement Learning Models Explain Neural Learning? |
| 25min | Thesis Presentation: Svenja Stark |
| 5min | Questions of the Audience |
| 5min | Reporter: Jochen Mück |
| 16:50-17:24 | Planning in POMDPs |
| 25min | Thesis Presentation: Dominik Schönberger |
| 5min | Questions of the Audience |
| 5min | Reporter: Arthur Fischer |
| 17:25 | Conclusion |
Betreuer
Fuer dieses Seminar steht eine exzellente Betreuung zur Verfuegung bestehend aus drei weltweit anerkannten Experten. Zwei von diesen kommen extra von ausserhalb fuer dieses Seminar.
Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das 
neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.
Dr. Abdeslam Boularias ist ein weltbekannter Forscher im Bereich von Reinforcement Learning (d.h., Lernen durch Versuch und Fehler) und im Apprenticeship Learning (d.h., der Rekonstruktion der Kostenfunktion des Lehrers um ihn optimal nachzuahmen). Abdeslam Boularias hat in Kanada an der bekannten Laval University promoviert und wird extra zu diesem Blockseminar an die TU Darmstadt kommen. Fuer Rueckfragen auf Englisch steht Abdeslam Boularias unter abdeslam.boularias@tuebingen.mpg.de zur Verfuegung.
Dr. Philipp Hennig forscht im Bereich des Probabilistischen 
und Bayesianischen Maschinellen Lernens. Philipp Hennig ist am Max Planck Institut fuer Intelligente Systeme angestellt und wird - genau wie Dr. Boularias - extra fuer dieses Seminar nach Darmstadt kommen. Promoviert hat Philipp Hennig an der beruehmtesten Universitaet Europas, der Cambridge University. Fuer Rueckfragen auf Deutsch oder Englisch steht Philipp Hennig unter philipp.hennig@tuebingen.mpg.de zur Verfuegung.
Da sowohl Abdeslam Boularias, Jan Peters und Philipp Hennig im Ausland studiert und promoviert haben, stehen Sie auch fuer Fragen zum Auslandsstudium zur Verfuegung.
