Vorlesung: Machine Learning 1 - Statistical Approaches

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an !!!

Please subscribe to our class mailing list at http://lists.ias.informatik.tu-darmstadt.de/listinfo/vorlesung-ml

Quick Facts

Vortragender:Jan Peters
Zusaetzliche Betreuung:Alexandros Paraschos
Termine:Dienstags, 13:30-15:10 im Raum S202/C120
 Mittwochs, 15:20-16:05 im Raum S202/C110
TU-CAN:20-00-0358-iv Machine Learning: Statistical Approaches
Credits:6,0
Exam:Mo, 21. Jul. 2014, 12:00-14:00, S101/A1

Beschreibung

Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme zu erstellen, die aus Daten gute Schluesse ziehen.

Warum? Schauen wir uns die Fakten an: Milliarden von Webseiten stehen uns zur Verfuegung, Videos mit eine akkumulierten Dauer von 20 Stunden werden jede Minute auf YouTube hochgeladen und die Supermarktkette Walmart alleine schaff mehr als eine Million Transaktionen pro Stunde und eine Datenbank mit mehr als 2.5 Petabytes an Information. John Naisbitt hat es klar auf den Punkt gebracht:

We are drowning in information and starving for knowledge.

Die wichtigste Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. Nicht nur das: es ist heute schon die Technologie, die Informatikern die besten Jobs verspricht. Hal Varian, 2009, der Chief Engineer von Google drueckte sich wie folgt aus:

''I keep saying the sexy job in the next ten years will be statisticians and machine learners. People think Iam joking, but who would have guessed that computer engineers would have been the sexy job of the 1990s? The ability to take data, to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it, that is going to be a hugely important skill in the next decades.''

Inhalt dieser Vorlesung ist dementsprechend die Einfuehrung in das Maschinelle Lernen. Es wird hierbei besonderer Wert auf eine verstaendliche Darstellung gelegt sowie auf die Bearbeitung kleiner Beispielprobleme durch Studenten. Der Dozent legt besonderen Wert auf viel Interaktion mit den Teilnehmern der Vorlesung.

Lehrinhalte

Die Vorlesung gibt eine systematische Einfuehrung in statistische Verfahren des maschinellen Lernens. Die Vorlesung behandelt voraussichtlich folgende Themen: Probability Distributions, Linear Models for Regression and Classification, Kernel Methods, Graphical Models, Mixture Models and EM, Approximate Inference, Continuous Latent Variables, Hidden Markov Models.

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen der Informatik

Office Hours

Jan Peters (Professor)Donnerstag, 11:40 - 12:40
Alexandros Paraschos (Teaching Assistant)Dienstag, 15:30 - 16:30

Sprache

The lectures will be in English unless severe concerns exist...

Nr.TopicBackground Material
1IntroductionSlides
2Linear Algebra RefresherSlides, Background Reading
3Statistics RefresherSlides, Read: Bishop Chap.2
  or Murphy Chap 2 or MacKay Chap.1+2 .
4  
5OptimizationSlides, Read: Bishop Appendix E
6 Try this script: Matlab Script, Homework 1v2 Homework 1 Solutions
7Bayesian Decision TheorySlides
8Probability Density EstimationSlides
9  
10ClusteringSlides
11  
12  
13Linear RegressionSlides, Homework 2v3, HW2 Dataset.zip Homework 2 Solutions
14Linear ClassificationSlides
15  
16Dimensionality ReductionSlides, Homework 3, HW3 Dataset Homework 3 Solutions
17  
18Neural Networks, Support Vector MachinesSlides 1, Slides 2
19Kernel Methods for RegressionSlides
20 Homework 4, HW4 Dataset Homework 4 Solutions
21  
22Boosting, Finishing up!Slides Exam Preparation Homework

Literatur

Die wichtigsten Buecher fuer die Vorlesung sind

  1. C.M. Bishop, Pattern Recognition and Machine Learning (2006), Springer book announcement
  2. K.P. Murphy, Machine Learning: a Probabilistic Perspective (expected 2012), MIT Press book announcement

Praktisch sind auch die folgenden Buecher:

  1. D. Barber, Bayesian Reasoning and Machine Learning (2012), Cambridge University Press Free online copy.
  2. T. Hastie, R. Tibshirani, and J. Friedman (2003), The Elements of Statistical Learning, Springer Verlag Free online copy.
  3. D. MacKay, Information Theory, Inference, and Learning Algorithms (2003), Cambridge University Press Free online copy.
  4. R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification (2nd ed. 2001), Willey-Interscience
  5. T.M. Mitchell, Machine Learning (1997), McGraw-Hill
  6. R. Sutton, A. Barto. Reinforcement Learning - an Introduction, MIT Press Free online copy.


Betreuer

Die Vorlesung wird von Jan Peters gehalten und zusaetzlich von Alexandros Paraschos betreut.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Alexandros Paraschos ist seit Februar 2012 PhD Student am IAS. Seine Forschung beschäftigt sich mit der Entwicklung neuer Methoden für Movement Primitives und das Lernen von Controllern für Tendon-Driven Robots. Fuer Rueckfragen auf Englisch steht Alexandros Paraschos unter paraschos@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Alexandros Paraschos im Robert-Piloty Gebaeude S2|02 im Raum E325 zu finden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!

  

zum Seitenanfang