Vorlesung: Machine Learning 1 - Statistical Approaches

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an email mail@jan-peters.net !!!

Quick Facts

Vortragender:	Jan Peters
Zusaetzliche Betreuung:	Christian Daniel, Herke van Hoof
Termine:	Dienstags, 13:30-15:10 im Raum S202/C120
	Mittwochs, 15:20-16:05 im Raum S202/C110
TU-CAN:	20-00-0358-iv Machine Learning: Statistical Approaches
Credits:	6,0
Exam:	TBA

Beschreibung

Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme zu erstellen, die aus Daten gute Schluesse ziehen.

Warum? Schauen wir uns die Fakten an: Milliarden von Webseiten stehen uns zur Verfuegung, Videos mit eine akkumulierten Dauer von 20 Stunden werden jede Minute auf YouTube hochgeladen und die Supermarktkette Walmart alleine schaff mehr als eine Million Transaktionen pro Stunde und eine Datenbank mit mehr als 2.5 Petabytes an Information. John Naisbitt hat es klar auf den Punkt gebracht:

We are drowning in information and starving for knowledge.

Die wichtigste Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. Nicht nur das: es ist heute schon die Technologie, die Informatikern die besten Jobs verspricht. Hal Varian, 2009, der Chief Engineer von Google drueckte sich wie folgt aus:

''I keep saying the sexy job in the next ten years will be statisticians and machine learners. People think Iam joking, but who would have guessed that computer engineers would have been the sexy job of the 1990s? The ability to take data, to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it, that is going to be a hugely important skill in the next decades.''

Inhalt dieser Vorlesung ist dementsprechend die Einfuehrung in das Maschinelle Lernen. Es wird hierbei besonderer Wert auf eine verstaendliche Darstellung gelegt sowie auf die Bearbeitung kleiner Beispielprobleme durch Studenten. Der Dozent legt besonderen Wert auf viel Interaktion mit den Teilnehmern der Vorlesung.

Lehrinhalte

Die Vorlesung gibt eine systematische Einfuehrung in statistische Verfahren des maschinellen Lernens. Die Vorlesung behandelt voraussichtlich folgende Themen: Probability Distributions, Linear Models for Regression and Classification, Kernel Methods, Graphical Models, Mixture Models and EM, Approximate Inference, Continuous Latent Variables, Hidden Markov Models.

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen der Informatik

Office Hours

Jan Peters (Professor)	Donnerstag, 11:40 - 12:40
Christian Daniel, Herke van Hoof (Teaching Assistant)	Dienstag, 16:05 - 17:05

Sprache

The lectures will be in English unless severe concerns exist...

Syllabus: Slides will be moved to Moodle shortly!

Nr.	Topic	Background Material
1	Introduction	Slides
2	Linear Algebra Refresher	Slides, Annotations,Background Reading
3	Statistics Refresher	Slides, Read: Bishop Chap.2
		or Murphy Chap 2 or MacKay Chap.1+2 .
4
5	Optimization	Slides, Read: Bishop Appendix E
6		Try this script: Matlab Script
7
8	Bayesian Decision Theory	Slides
9	Probability Density Estimation	Homework 1 due! Slides Homework 1 Solution
10	Clustering	Slides
11	Linear Regression	Slides Marcels Question
12	Linear Classification	Slides
13
14	ctd
15
16	Dimensionality Reduction, Learning Theory, Homework Answered	Slides, Homework 2 due!
17	Learning Theory
18	Neural Networks, Support Vector Machines	Slides 1, Slides 2
19	Kernel Methods for Regression	Slides
20
21	Introduction to Graphical Models	Slides,Homework 3 due!
22
23	Boosting, Finishing up!	Slides
24
25	Exam Prep	Exam Prep, Homework 4 due!
26

Literatur

Die wichtigsten Buecher fuer die Vorlesung sind

1. C.M. Bishop, Pattern Recognition and Machine Learning (2006), Springer book announcement
2. K.P. Murphy, Machine Learning: a Probabilistic Perspective (expected 2012), MIT Press book announcement

Praktisch sind auch die folgenden Buecher:

1. D. Barber, Bayesian Reasoning and Machine Learning (2012), Cambridge University Press Free online copy.
2. T. Hastie, R. Tibshirani, and J. Friedman (2003), The Elements of Statistical Learning, Springer Verlag Free online copy.
3. D. MacKay, Information Theory, Inference, and Learning Algorithms (2003), Cambridge University Press Free online copy.
4. R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification (2nd ed. 2001), Willey-Interscience
5. T.M. Mitchell, Machine Learning (1997), McGraw-Hill
6. R. Sutton, A. Barto. Reinforcement Learning - an Introduction, MIT Press Free online copy.

Betreuer

Die Vorlesung wird von Jan Peters gehalten und zusaetzlich von Herke van Hoof und Christian Daniel betreut.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Christian Daniel hat an der TU Darmstadt und der EPF Lausanne studiert und den Master in Informatik erworben. Fuer Rueckfragen steht Christian Daniel unter daniel@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Christian Daniel im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.

Herke van Hoof, M.Sc., hat an der Universitaet Groningen in den Niederlanden studiert und dem Master im Gebiet Kuenstliche Intelligenz erworben. Seit dem 15. September 2011 ist er an der TU Darmstadt als wissenschaftlicher Mitarbeiter taetig. Fuer Rueckfragen auf Englisch steht Herke van Hoof unter herke@robot-learning.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Herke van Hoof im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!