Vorlesung: Intelligent Multi-Agent Systems

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an !!!

Quick Facts

Vortragende:Gerhard Neumann
Zusaetzliche Betreuung:Rudolf Lioutikov, Gregor Gebhardt
Termine:Dienstag, 17:10-18:50 im Raum S202/C120
 Montags, 15:20-16:05 im Raum S202/C110
TU-CAN:20-00-0784 Intelligente Multi-Agenten Systeme
Credits:6,0
Exam:Do, 23. Jul. 2015 12:00-14:00, S101/A01

Beschreibung

Der Anwendungsbereich von Multi-Agenten Systemen wird immer wichtiger und vielfältiger. Er umfasst mittlerweile Robotersysteme, Web-Agenten, Agenten im Finanzbereich, Agenten für Computerspiele, Sensor-Netzwerke und im allgemeinen, alle Agenten die mit Menschen interagieren müssen. In der Zukunft werden immer mehr autonome Agenten dazu eingesetzt werden uns in unserem Alltag zu unterstützen. Neue Entwicklungen in der Robotik wie zum Beispiel die Verwendung einer Vielzahl von kleinen Schwarm-Robotern oder sogar Nano-Robotern lassen nur erahnen wie vielfältig der zukunftige Anwendungsbereich von Multi-Agenten Systemen sein wird.

Computerspiele wie Starcraft sind eine typische Anwendung von Multi-Agenten Systemen

Um solche Agenten effektiv einsetzen zu können, müssen diese Agenten sich koordinieren um gemeinsam Aufgaben lösen zu können. Multi-Agenten Systeme stellen eine grosse Herausforderung für Algorithmen der Künstlichen Intelligenz dar, sei es die Agenten zu koordinieren um einen gemeinsamen Task zu lösen, oder das Lernen von Aufgaben mit mehreren, eventuell kompetativen Agenten. Bei lernenden Agenten ändert sich die Policy stetig. Da diese Agenten Teil der Umgebung von anderen Agenten sind, muss berücksichtigt werden dass die Umgebung nicht stationär sind. Noch dazu hat jeder Agent eine eigene, lokale Sicht auf die Welt. Aufgrund dieser Eigenschaften von Multi-Agenten Systemen funktionieren Standard Algorithmen des Maschinellen Lernens welche für einen einzelnen Agenten eingesetzt werden nur sehr schlecht. Deshalb werden wir uns in dieser Vorlesung intensiv mit Decision Making, Planning und Learning mit Multi-Agenten Systemen beschäftigen und auch einige Fall-Studien kennenlernen

Zusätzlich werden wir massive Multi-Agenten Systeme, sogenannte Schwärme genauer analysieren. Die Grund-Ideen von Schwarm-Intelligenz ist das einzelne Individuen sehr einfaches Verhaltensmuster besitzen. Das komplexe, intelligente Verhalten entsteht erst indem man die Interaktion von vielen Individuen betrachtet. Diese ist ein von der Natur oft verwendetes Prinzip (Beispiel: Ameisen) welches wir auch an einer Fallstudie eines Roboterschwarmes untersuchen werden.

Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Multi-Agenten Lernproblem geloest werden. Die Umsetzung erfolgt entweder in der Simulation oder auf der Kilo-Bot Plattform.

Lehrinhalte

Grundlagen für:

  • Multi-Agenten Systeme,
  • Verteilte Optimierung
  • Markov Decision Processes (MDPs) und Lernen in MDPs
  • Spieltheorie, Matrix Games, Stochastic Games und Differential Games
  • Partial-Observable Markov Decision Processes (POMDPs), Verteilte Partial-Observable Markov Decision Processes
  • Lernen mit mehreren Agenten und verteiltes Lernen
  • Schwarmintelligenz
  • Kommunikation und Koordination von mehreren Agenten .

Vorwissen

  • Mathematik aus den ersten Semestern, Programmieren in Matlab und C, Grundlagen der Informatik
  • Der Besuch der Robot Learning Lecture ist hilfreich, aber nicht zwingend erforderlich

Office Hours

Gerhard Neumann (Vortragender)nach Absprache
Rudolf Lioutikov (Teaching Assistant)Mo, 09:00 - 10:00
Gregor Gebhardt (Teaching Assistant)Fr, 09:00 - 10:00

Sprache

The lectures will be in English unless severe concerns exist...

Zusatzinformation

Syllabus

Guideline for the homework and the lectures Syllabus

Lecture Slides

DateTopicBackground Material
14.04.2015IntroductionSlides
20.04.2015entfällt 
21.04.2015Introduction and Game TheorySlides Introduction
  Slides Game Theory
27.04.2015  
28.04.2015Computing Solution ConceptsSlides
05.05.2015Games in Extensive Form and Bayesian GamesSlides
19.05.2015Coordination and Mechanism DesignSlides
26.05.2015Single Agent Reinforcement LearningSlides
05.06.2015Multi Agent Reinforcement LearningSlides
 (NOTE: Lecture will be on Friday 05.06 at 15:20 in C120) 
09.06.2015Guest Lecture: Guilherme Maeda, Learning for Human-Robot InteractionSlides
 (NOTE: Lecture will be as usual on Tuesday but in S207/109) 
15.06.2015entfällt 
16.06.2015entfällt 
22.06.2015Multi Agent Reinforcement Learning 
23.06.2015Partially Observable Markov Decision Process (POMDPs)Slides
06.07.2015entfällt 
07.07.2015Decentralized Partially Observable Markov Decision Process (POMDPs)Slides
14.07.2015Swarm IntelligenceSlides

Lecture Notes

Here we will put some small tutorials on relevant topics for the lecture. These tutorials are supporting materials for the slides. So far we have:

  1. Constraint Optimization from Robot Learning

Matlab Scripts

Literatur

Intelligente Multi-Agenten Systeme ist ein aktuelles Thema, fuer welches es nur für einzelne Bereiche Lehrbücher gibt. Es gibt jedoch einige gute Review Artikel über alle relevanten Bereiche

Lehrbücher zu einzelnen Unterthemen findet ihr hier:

  • Yoav Shoham, Kevin Leyton-Brown: Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, Homepage (auch als ebook downloadbar)
  • Howard Schwartz: Multi-Agent Machine Learning: A Reinforcement Approach
  • Nikos Vlassis: A Concise Introduction to Multiagent Systems and Distributed Artificial Intelligence

Vorlesungen anderer Uni's zu ähnlichen Themen:


Homeworks

Homework wird gemaess der Bonuspunkteregelung angerechnet, und nur vollstaendig angerechnet wenn es vor dem Vortraeg der Loesung durch den Teaching Assistant abgegeben wurde. Bei jeder unbegruendeten Verspaetung wird 30% oder mehr abgezogen, bei Kopieren wird die Uebung gar nicht angerechnet. Die Hausaufgaben können die Note bei der Abschlussprüfung um eine Note von maximal 1.0 verbessern. Dieser Bonus entspricht 80% der möglichen Punkteanzahl auf die Hausübung.

Betreuer

Gerhard Neumann ist seit September 2014 Junior-Professor des Fachgebiets Computational Learning for Autonomous Systems (CLAS). Sein Forschungsschwerpunkt ist neue Methoden des Maschinelles Lernens für Roboter zu entwickeln welche ein daten-effizientes Lernen von vielseitigen motorischen Fähigkeiten erlaubt. Fuer Rueckfragen auf deutsch oder englisch steht Gerhard Neumann unter neumann@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Gerhard Neumann im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.

Rudolf Lioutikov ist seit Oktober 2013 PhD-Student am Fachgebiet Intelligent Autonomous Systems.

Er erforscht Methoden zur automatischen Segmentierung und Sequenzierung von Bewegungsabläufen. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an lioutikov@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E325 gestellt werden.

Gregor Gebhardt ist seit Anfang 2015 PhD-Student am Fachgebiet Computational Learning for Autonomous Systems (CLAS).

Seine Forschungsinteressen sind Kernel-basierte Methoden zum Lernen von Modellen in hochdimensionalen Zustandsräumen. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an gebhardt@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E327 gestellt werden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!

  

zum Seitenanfang