(:requiretuid:)
Projektpraktikum: Lernende Roboter (Robot Learning Project)
Ab dem Sommersemester 2014 wird das Projektpraktikum: Lernende Roboter durch das IP-Robot Learning ersetzt! Es kann nicht mehr belegt werden.
Quick Facts
| Vortragender: | Jan Peters |
| Zusaetzliche Betreuung: | Oliver Kroemer, Herke van Hoof, Alexandros Paraschos, Roberto Calandra, Christian Daniel, Filipe Veiga |
| Vorbesprechung: | Mo, 14. Okt. 2013, 9:45-11:45 im Raum S202-E202 |
| Termin 1: | Mo, 21. Okt. 2013, 9:30-10:30 im Raum S202-E202 Abgabe Uebung 1 |
| Termin 2: | Mo, 28. Okt. 2013, 9:30-10:30 im Raum S202-E202 Abgabe Uebung 2 |
| Termin 3: | Mo, 4. Nov 2013, 9:30-10:30 im Raum S202-E202 Abgabe Uebung 3 und Auswahl Projekt / Betreuer |
| Status Update | TBA |
| Mini-Konferenz | Mo, 17. Februar 2014, 9:00-17:00 im Raum S202-B002 (Zeit wird auf Teilnehmerzahl angepasst) |
| TU-CAN: | 20-00-0628-pr Projektpraktikum Lernende Roboter |
| Credits: | 9,0 |
Falls moeglich, bringen Sie bitte einen Computer mit, auf dem LINUX, Mac OS X oder ein anderes UNIX System laeufft!
Beschreibung
Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung Lernende Roboter sowie zu deren Fortsetzung an. Es soll den Teilnehmern der Vorlesung ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Lernproblem geloest werden und diese damit praktisch ausprobiert werden. Hierzu steht der Robotersimulator SL zur Verfuegung mit vielen verschiedenen Beispielaufgaben wie z.B. Ball-Swing-In, Ball-Paddling, Ball-in-a-Cup oder sogar eine Robotertischtennis-Simulation. Der Simulator SL ist in dem Screenshot hier dargestellt. Die Teilnehmer schliessen sich in Gruppen von 2-3 Teilnehmern zusammen und bekommen einen Betreuer aus dem Fachgebiet Intelligente Autonome Systeme zugewiesen.
Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an mail@jan-peters.net !!!
Vorwissen
Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen den Informatik. Eine gleichzeitige oder vorhergehende Belegung der Vorlesung Lernende Roboter ist hilfreich!
Format
Das Praktikum besteht aus zwei Phasen. In der ersten Phase erklaeren die Betreuer die Bedienung sowie Programmierung des Simulators und versuchen gemeinsam mit den Studenten ein geeignetes Projekt auszuwaehlen. Die Termine hierfuer sind oben angegeben.
| Materialien fuer Vorbesprechung | SL, slides, MeinBEISPIEL_task.c, How to add a task?, SL Guide | |
| Materialien fuer Termin 1 | Download: slides, initUserTasks.c, initUserGraphics.c, BEISPIEL_task.c | |
| Materialien fuer Termin 2 | PolicySearch, |
In der zweiten Phase implementieren die Teilnehmer selber einen Roboterlernalgorithmus und versuchen, ihn zum Funktionieren zu bekommen. Das Resultat wird in einem kurzen "Paper" dokumentiert und in der Mini-Konferenz (Termin siehe oben) praesentiert. Das Paper muss spaetestens am Tag vor der Praesentation eingereicht werden! Hierfuehr stehen ungefaehr 20 Minuten (exkl. Fragen) zur Verfuegung. Die Teilnehmer stellen Ihr abgeschlossenes Projekt den anderen Teilnehmern sowie Mitarbeitern des Fachgebietes IAS vor.
Exercises
Exercise 1: SL herunterladen und installieren. Die Slides enthalten die Links zum SL Tutorial und zum Herunterladen von SL. Wenn es Probleme gibt, bitten melden Sie sich bei einem von uns Betreuern.
Exercise 2: MeinBEISPIEL_task.c herunterladen und in SL einbauen. Die Bewegung veraendern und rumspielen. Follow a ball with your finger.
Exercise 3: Ball on a beam Task mit der Finite-Difference Gradient Methode loesen.
Project 1: Nehmen Sie Ihr Projekt und ueberlegen Sie sich eine Idee fuer ein Setup und einen Algorithmus, wie Sie dort gerne die Aufgabe lernen moechten. Besprechen Sie diese Idee mit Ihrem Betreuer bis zum Termin 2 (Datum siehe oben)
und stellen Sie sicher, dass diese realistisch ist. Implementieren Sie diese Idee und kriegen Sie Ihren Ansatz zum Laufen.
Project Presentation: Bereiten Sie eine Beschreibung von 3 bis 8 Seiten ueber Ihre Loesung in dem AIStats Format downloaden vor. Praesentieren Sie Ihre Loesung in der Mini-Konferenz allen Gruppen und Betreuern. Hierfuehr stehen ungefaehr 20 Minuten (exkl. Fragen) zur Verfuegung.
Moegliche Projekte
Bitte waehlen Sie bis zum Termin 2 (siehe oben) eines der Projekte aus dieser Liste aus:
- Pole-Balancing: Balancing a pole on the end-effector (Difficulty: 2)
- Ball-on-a-Beam: Balancing a ball on a beam mounted at the end-effector (Difficulty: 1).
- Ball-in-a-cup: Learning to a jerk a ball hanging on a string from a cup mounted at the end-effector into the cup (Difficulty 5).
- Ball-Paddling: Paddle a ball hanging on a string from a tennis racket mounted at the end-effector (Difficulty: 5)
- Ball-Bouncing: Bounce a free-floating ball with a tennis racket mounted at the end-effector (Difficulty: 4)
- Beer Pong: Throw a ball such that it bounces of the table and falls into a cup (Difficulty: 3).
- Tetherball-Target-Hitting: Hit a ball on a string such that it goes into a target (Difficulty: 2.5).
- Casting: Bring a ball hanging on a string from the end-effector into the cup on the floor (Difficulty: 1.5).
Der Schwierigkeitsgrad (Difficulty) liegt zwischen 1 (challenging & fun) und 5 (insanely difficult & you are a genius). Der Schwierigkeitsgrad nimmt keinen ganz direkten Einfluss auf die Note: Bei einem 1er Projekt waere aber zumindest ein kleiner Vergleich von Algorithmen oder eine orginelle Loesung wuenschenswert. Bei einem 5er Projekt sind wir stolz auf die Studenten, welche die Aufgabe erfolgreich erfuellen.
Bewertung / Grading
- Creativity and efforts on the project
- Has the student grasped and presented the big picture?
- Structure of the presentation and the paper
- Technical quality and robustness of the solution
Groups in Fall Term 2013/2014
| Group Member | Advisor | Topic |
|---|---|---|
| Mark Prediger, Florian Schnell, Victor-Philipp Negoescu | Roberto | Advanced Bayesian Optimization Models |
| Dorothea Kört, Tjark Vandommele | Rudi | Competitive Robot Pong |
| Malte Viering, Jan Metz | Chris | Learning Reward Functions |
| Amir Kalali, Olavi Peltonen | Filipe | Ball Paddling |
Projekte in 2013
- Amend, S.; Gebhardt, G.H.W. (2013). Learning to Serve and Bounce a Ball, Proceedings of Projektpraktikum Robot Learning.
- Brunkhorst, N.; Rado, S. (2013). Learning how to cast a ball into a cup using a robotic arm, Proceedings of Projektpraktikum Robot Learning.
- Dittmar, D.; Koch, B. (2013). Robot learning for ball bouncing , Proceedings of Projektpraktikum Robot Learning.
- Gast, J.; Wild, B. (2013). Ball Balancing Along a Trajectory, Proceedings of Projektpraktikum Robot Learning.
- Isaak, J.; Kroenig, M. (2013). Beer pong, Proceedings of Projektpraktikum Robot Learning.
- Mantel, J.; Konrad, S. (2013). Ball Casting, Proceedings of Projektpraktikum Robot Learning.
- Michels, T.; Hochlaender, A. (2013). Teaching a robot to perform a basketball shot using EM-based reinforcement learning methods, Proceedings of Projektpraktikum Robot Learning.
- Wagner, F.; Schmitt, F. (2013). Robot Beerpong: Model-Based Learning for Shifting Targets, Robot Beerpong: Model-Based Learning for Shifting Targets.
- Wieland, A.; Hoppe, D. (2013). Comparison of Different Learning Algorithms for Beer-Pong in SL, Proceedings of Projektpraktikum Robot Learning.
- Wolter, E.; Baark, T. (2013). Learning to bounce a ball with a robotic arm, Proceedings of Projektpraktikum Robot Learning.
Betreuer
Das Praktikum wird durch Jan Peters, Oliver Kroemer, Herke van Hoof, Alexandros Paraschos, Roberto Calandra, und Christian Daniel betreut.
Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das 
neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.
Oliver Kroemer, M.Sc., ist obwohl er erst 24 Jahre alt ist bereits durch einschlaegige Publikationen im Bereich des Robot Learning bekannt und hat sich insbesondere durch Arbeit im Maschinellen Lernen fuer Robotergreifen, taktiler Exploration und Manipulation ausgezeichnet. Dabei hat er u.A. den ICINCO 2010 Best Paper Award gewonnen. Studiert hat Oliver Kroemer an der beruehmtesten Universitaet Europas, der Cambridge University. Fuer Rueckfragen auf Deutsch oder Englisch steht Oliver Kroemer unter oli@robot-learning.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Oliver Kroemer im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.
Herke van Hoof, M.Sc., hat an der Universitaet Groningen in den Niederlanden studiert und den Master im Gebiet Kuenstliche Intelligenz erworben. Seit dem 15. September 2011 ist er an der TU Darmstadt als wissenschaftlicher Mitarbeiter taetig. Fuer Rueckfragen auf Englisch steht Herke van Hoof unter herke@robot-learning.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Herke van Hoof im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.
Dipl.-Ing. Alexandros Paraschos hat an der Technischen Universitaet Kreta in Griechenland studiert und den Diplom-Ingenieur im Gebiet Elektro- und Informationstechnik erworben. Danach war er ein Jahr als Forscher an der University of Wales in Newport in Grossbritannien. Seit dem 1. Februar 2011 ist er an der TU Darmstadt als wissenschaftlicher Mitarbeiter taetig. Fuer Rueckfragen auf Englisch steht Alexandros Paraschos unter paraschos@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Alexandros Paraschos im Robert-Piloty Gebaeude S2|02 im Raum E326 zu finden.
Roberto Calandra, M.Sc., hat an der Universitaet Aalto in Finnland den Master im Gebiet Maschinelles Lernen und an der Universitaet Palermo einen Bachelor in Informatik erworben. Seit dem 15. Januar 2011 ist er an der TU Darmstadt als wissenschaftlicher Mitarbeiter taetig. Fuer Rueckfragen auf Englisch steht Roberto Calandra unter calandra@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Roberto Calandra im Robert-Piloty Gebaeude S2|02 im Raum E324 zu finden.
Christian Daniel, M.Sc., hat an der TU Darmstadt und der EPF Lausanne studiert und den Master in Informatik erworben. Fuer Rueckfragen steht Christian Daniel unter daniel@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Christian Daniel im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.
Filipe Veiga, M.Sc., hat am IST Lisbon studiert und den Master in Elektro- und Informationstechnik erworben. Fuer Rueckfragen steht Filipe Veiga unter veiga@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Filipe Veiga im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.
Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!