Vorlesung: Intelligent Multi-Agent Systems
Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an neumann@ias.tu-darmstadt,de !!!
Quick Facts
| Vortragende: | Gerhard Neumann |
| Zusaetzliche Betreuung: | Rudolf Lioutikov, Gregor Gebhardt |
| Termine: | Dienstag, 17:10-18:50 im Raum S202/C120 |
| Montags, 15:20-16:05 im Raum S202/C110 | |
| TU-CAN: | 20-00-0784 Intelligente Multi-Agenten Systeme |
| Credits: | 6,0 |
| Exam: | Do, 23. Jul. 2015 12:00-14:00, S101/A01 |
Beschreibung
Der Anwendungsbereich von Multi-Agenten Systemen wird immer wichtiger und vielfältiger. Er umfasst mittlerweile Robotersysteme, Web-Agenten, Agenten im Finanzbereich, Agenten für Computerspiele, Sensor-Netzwerke und im allgemeinen, alle Agenten die mit Menschen interagieren müssen. In der Zukunft werden immer mehr autonome Agenten dazu eingesetzt werden uns in unserem Alltag zu unterstützen. Neue Entwicklungen in der Robotik wie zum Beispiel die Verwendung einer Vielzahl von kleinen Schwarm-Robotern oder sogar Nano-Robotern lassen nur erahnen wie vielfältig der zukunftige Anwendungsbereich von Multi-Agenten Systemen sein wird.
Computerspiele wie Starcraft sind eine typische Anwendung von Multi-Agenten Systemen
Um solche Agenten effektiv einsetzen zu können, müssen diese Agenten sich koordinieren um gemeinsam Aufgaben lösen zu können. Multi-Agenten Systeme stellen eine grosse Herausforderung für Algorithmen der Künstlichen Intelligenz dar, sei es die Agenten zu koordinieren um einen gemeinsamen Task zu lösen, oder das Lernen von Aufgaben mit mehreren, eventuell kompetativen Agenten. Bei lernenden Agenten ändert sich die Policy stetig. Da diese Agenten Teil der Umgebung von anderen Agenten sind, muss berücksichtigt werden dass die Umgebung nicht stationär sind. Noch dazu hat jeder Agent eine eigene, lokale Sicht auf die Welt. Aufgrund dieser Eigenschaften von Multi-Agenten Systemen funktionieren Standard Algorithmen des Maschinellen Lernens welche für einen einzelnen Agenten eingesetzt werden nur sehr schlecht. Deshalb werden wir uns in dieser Vorlesung intensiv mit Decision Making, Planning und Learning mit Multi-Agenten Systemen beschäftigen und auch einige Fall-Studien kennenlernen
Zusätzlich werden wir massive Multi-Agenten Systeme, sogenannte Schwärme genauer analysieren. Die Grund-Ideen von Schwarm-Intelligenz ist das einzelne Individuen sehr einfaches Verhaltensmuster besitzen. Das komplexe, intelligente Verhalten entsteht erst indem man die Interaktion von vielen Individuen betrachtet. Diese ist ein von der Natur oft verwendetes Prinzip (Beispiel: Ameisen) welches wir auch an einer Fallstudie eines Roboterschwarmes untersuchen werden.
Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Multi-Agenten Lernproblem geloest werden. Die Umsetzung erfolgt entweder in der Simulation oder auf der Kilo-Bot Plattform.
Lehrinhalte
Grundlagen für:
- Multi-Agenten Systeme,
- Verteilte Optimierung
- Markov Decision Processes (MDPs) und Lernen in MDPs
- Spieltheorie, Matrix Games, Stochastic Games und Differential Games
- Partial-Observable Markov Decision Processes (POMDPs), Verteilte Partial-Observable Markov Decision Processes
- Lernen mit mehreren Agenten und verteiltes Lernen
- Schwarmintelligenz
- Kommunikation und Koordination von mehreren Agenten .
Vorwissen
- Mathematik aus den ersten Semestern, Programmieren in Matlab und C, Grundlagen der Informatik
- Der Besuch der Robot Learning Lecture ist hilfreich, aber nicht zwingend erforderlich
Office Hours
| Gerhard Neumann (Vortragender) | nach Absprache |
| Rudolf Lioutikov (Teaching Assistant) | Mo, 09:00 - 10:00 |
| Gregor Gebhardt (Teaching Assistant) | Fr, 09:00 - 10:00 |
Sprache
The lectures will be in English unless severe concerns exist...
Zusatzinformation
- Moodle Link
- Guidelines and Tricks for the programming assingments in Matlab?
- Used notation and symbols?
Syllabus
Guideline for the homework and the lectures Syllabus
Lecture Slides
| Date | Topic | Background Material |
|---|---|---|
| 14.04.2015 | Introduction | Slides |
| 20.04.2015 | entfällt | |
| 21.04.2015 | Introduction and Game Theory | Slides Introduction |
| Slides Game Theory | ||
| 27.04.2015 | ||
| 28.04.2015 | Computing Solution Concepts | Slides |
| 05.05.2015 | Games in Extensive Form and Bayesian Games | Slides |
| 19.05.2015 | Coordination and Mechanism Design | Slides |
| 26.05.2015 | Single Agent Reinforcement Learning | Slides |
| 05.06.2015 | Multi Agent Reinforcement Learning | Slides |
| (NOTE: Lecture will be on Friday 05.06 at 15:20 in C120) | ||
| 09.06.2015 | Guest Lecture: Guilherme Maeda, Learning for Human-Robot Interaction | Slides |
| (NOTE: Lecture will be as usual on Tuesday but in S207/109) | ||
| 15.06.2015 | entfällt | |
| 16.06.2015 | entfällt | |
| 22.06.2015 | Multi Agent Reinforcement Learning | |
| 23.06.2015 | Partially Observable Markov Decision Process (POMDPs) | Slides |
| 06.07.2015 | entfällt | |
| 07.07.2015 | Decentralized Partially Observable Markov Decision Process (POMDPs) | Slides |
| 14.07.2015 | Swarm Intelligence | Slides |
Lecture Notes
Here we will put some small tutorials on relevant topics for the lecture. These tutorials are supporting materials for the slides. So far we have:
- Constraint Optimization from Robot Learning
Matlab Scripts
Literatur
Intelligente Multi-Agenten Systeme ist ein aktuelles Thema, fuer welches es nur für einzelne Bereiche Lehrbücher gibt. Es gibt jedoch
einige gute Review Artikel über alle relevanten Bereiche
Lehrbücher zu einzelnen Unterthemen findet ihr hier:
- Yoav Shoham, Kevin Leyton-Brown: Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, Homepage (auch als ebook downloadbar)
- Howard Schwartz: Multi-Agent Machine Learning: A Reinforcement Approach
- Nikos Vlassis: A Concise Introduction to Multiagent Systems and Distributed Artificial Intelligence
Vorlesungen anderer Uni's zu ähnlichen Themen:
- Computational Game Theory, Uni Brussels
- Autonomous Multi-Agent Systems, The University of Texas at Austin
Homeworks
Homework wird gemaess der Bonuspunkteregelung angerechnet, und nur vollstaendig angerechnet wenn es vor dem Vortraeg der Loesung durch den Teaching Assistant abgegeben wurde. Bei jeder unbegruendeten Verspaetung wird 30% oder mehr abgezogen, bei Kopieren wird die Uebung gar nicht angerechnet. Die Hausaufgaben können die Note bei der Abschlussprüfung um eine Note von maximal 1.0 verbessern. Dieser Bonus entspricht 80% der möglichen Punkteanzahl auf die Hausübung.
Betreuer
Gerhard Neumann ist seit September 2014 Junior-Professor des Fachgebiets Computational Learning for Autonomous Systems (CLAS). 
Sein Forschungsschwerpunkt ist neue Methoden des Maschinelles Lernens für Roboter zu entwickeln welche ein daten-effizientes Lernen von vielseitigen motorischen Fähigkeiten erlaubt. Fuer Rueckfragen auf deutsch oder englisch steht Gerhard Neumann unter neumann@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Gerhard Neumann im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.
Rudolf Lioutikov ist seit Oktober 2013 PhD-Student am Fachgebiet Intelligent Autonomous Systems.
Er erforscht Methoden zur automatischen Segmentierung und Sequenzierung von Bewegungsabläufen. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an lioutikov@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E325 gestellt werden.
Gregor Gebhardt ist seit Anfang 2015 PhD-Student am Fachgebiet Computational Learning for Autonomous Systems (CLAS).
Seine Forschungsinteressen sind Kernel-basierte Methoden zum Lernen von Modellen in hochdimensionalen Zustandsräumen. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an gebhardt@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E327 gestellt werden.
Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!