Vorlesung: Intelligent Multi-Agent Systems

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an neumann@ias.tu-darmstadt.de.

Quick Facts

Vortragende:Gerhard Neumann
Zusaetzliche Betreuung:Gregor Gebhardt, Oleg Arenz
Termine:Dienstag, 15:20-17:55 im Raum S202/C120
TU-CAN:20-00-0784 Intelligente Multi-Agenten Systeme
Credits:6,0
Exam:11. Aug 2016, 12:00 - 14:00
The first lecture will be on Tue, April 19th!

Beschreibung

Der Anwendungsbereich von Multi-Agenten Systemen wird immer wichtiger und vielfältiger. Er umfasst mittlerweile Robotersysteme, Web-Agenten, Agenten im Finanzbereich, Agenten für Computerspiele, Sensor-Netzwerke und im allgemeinen, alle Agenten die mit Menschen interagieren müssen. In der Zukunft werden immer mehr autonome Agenten dazu eingesetzt werden uns in unserem Alltag zu unterstützen. Neue Entwicklungen in der Robotik wie zum Beispiel die Verwendung einer Vielzahl von kleinen Schwarm-Robotern oder sogar Nano-Robotern lassen nur erahnen wie vielfältig der zukunftige Anwendungsbereich von Multi-Agenten Systemen sein wird.


Computerspiele wie Starcraft sind eine typische Anwendung von Multi-Agenten Systemen

Um solche Agenten effektiv einsetzen zu können, müssen diese Agenten sich koordinieren um gemeinsam Aufgaben lösen zu können. Multi-Agenten Systeme stellen eine grosse Herausforderung für Algorithmen der Künstlichen Intelligenz dar, sei es die Agenten zu koordinieren um einen gemeinsamen Task zu lösen, oder das Lernen von Aufgaben mit mehreren, eventuell kompetativen Agenten. Bei lernenden Agenten ändert sich die Policy stetig. Da diese Agenten Teil der Umgebung von anderen Agenten sind, muss berücksichtigt werden dass die Umgebung nicht stationär sind. Noch dazu hat jeder Agent eine eigene, lokale Sicht auf die Welt. Aufgrund dieser Eigenschaften von Multi-Agenten Systemen funktionieren Standard Algorithmen des Maschinellen Lernens welche für einen einzelnen Agenten eingesetzt werden nur sehr schlecht. Deshalb werden wir uns in dieser Vorlesung intensiv mit Decision Making, Planning und Learning mit Multi-Agenten Systemen beschäftigen und auch einige Fall-Studien kennenlernen

Zusätzlich werden wir massive Multi-Agenten Systeme, sogenannte Schwärme genauer analysieren. Die Grund-Ideen von Schwarm-Intelligenz ist das einzelne Individuen sehr einfaches Verhaltensmuster besitzen. Das komplexe, intelligente Verhalten entsteht erst indem man die Interaktion von vielen Individuen betrachtet. Diese ist ein von der Natur oft verwendetes Prinzip (Beispiel: Ameisen) welches wir auch an einer Fallstudie eines Roboterschwarmes untersuchen werden.

Das Projektpraktikum Lernende Roboter bieten wir parallel zur Vorlesung an. Es soll den Teilnehmern zu ermoeglichen, dieses spannende Thema in seiner vollen Tiefe zu verstehen. Hierzu soll mit einem Teil der in der Vorlesung vorgestellten Methoden ein Multi-Agenten Lernproblem geloest werden. Die Umsetzung erfolgt entweder in der Simulation oder auf der Kilo-Bot Plattform.


Die Kilobots sind ein Beispiel für eine massive Multi-Agenten Roboter Anwendung, welche wir in der Vorlesung diskutieren werden.

Lehrinhalte

Grundlagen für:

  • Multi-Agenten Systeme,
  • Verteilte Optimierung
  • Markov Decision Processes (MDPs) und Lernen in MDPs
  • Spieltheorie, Matrix Games, Stochastic Games und Differential Games
  • Partial-Observable Markov Decision Processes (POMDPs), Verteilte Partial-Observable Markov Decision Processes
  • Lernen mit mehreren Agenten und verteiltes Lernen
  • Schwarmintelligenz
  • Kommunikation und Koordination von mehreren Agenten .

Vorwissen

  • Mathematik aus den ersten Semestern, Programmieren in Matlab und C, Grundlagen der Informatik
  • Der Besuch der Robot Learning Lecture ist hilfreich, aber nicht zwingend erforderlich

Office Hours

Gerhard Neumann (Vortragender)nach Absprache
Gregor Gebhardt (Teaching Assistant)nach Absprache
Oleg Arenz (Teaching Assistant)nach Absprache

Sprache

The lectures will be in English unless severe concerns exist...

Zusatzinformation

Syllabus

Guideline for the homework and the lectures Syllabus

Literatur

Intelligente Multi-Agenten Systeme ist ein aktuelles Thema, fuer welches es nur für einzelne Bereiche Lehrbücher gibt. Es gibt jedoch einige gute Review Artikel über alle relevanten Bereiche

Lehrbücher zu einzelnen Unterthemen findet ihr hier:

  • Yoav Shoham, Kevin Leyton-Brown: Multiagent Systems: Algorithmic, Game-Theoretic, and Logical Foundations, Homepage (auch als ebook downloadbar)
  • Howard Schwartz: Multi-Agent Machine Learning: A Reinforcement Approach
  • Nikos Vlassis: A Concise Introduction to Multiagent Systems and Distributed Artificial Intelligence

Vorlesungen anderer Uni's zu ähnlichen Themen:


Betreuer

Gerhard Neumann ist seit September 2014 Junior-Professor des Fachgebiets Computational Learning for Autonomous Systems (CLAS). Sein Forschungsschwerpunkt ist neue Methoden des Maschinelles Lernens für Roboter zu entwickeln welche ein daten-effizientes Lernen von vielseitigen motorischen Fähigkeiten erlaubt. Fuer Rueckfragen auf deutsch oder englisch steht Gerhard Neumann unter neumann@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Gerhard Neumann im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.

Gregor Gebhardt ist seit Anfang 2015 PhD-Student am Fachgebiet Computational Learning for Autonomous Systems (CLAS).

Seine Forschungsinteressen sind Kernel-basierte Methoden zum Lernen von Modellen in hochdimensionalen Zustandsräumen. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an gebhardt@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E327 gestellt werden.

Oleg Arenz ist seit Mai 2015 PhD-Student am Fachgebiet Computational Learning for Autonomous Systems (CLAS).

Seine Forschungsinteressen sind Inverse Reinforcement Learning und Semi-Autonomous Teleoperation. Fragen zu Vorlesungsinhalten werden über Moodle beantwortet. Andere Rückfragen auf deutsch oder englisch können an arenz@ias.tu-darmstadt.de oder persönlich während der Sprechzeiten im Robert-Piloty Gebäude S2|02 im Raum E226 gestellt werden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!