Vorlesung: Machine Learning 1 - Statistical Approaches

Wir freuen uns über Rueckfragen, z.B. durch ein eMail an email mail@jan-peters.net !!!

Quick Facts

Vortragender:	Jan Peters
Zusaetzliche Betreuung:	Oliver Kroemer
Termine:	Dienstags, 13:30-16:05 im Raum S202/C120
	Mittwochs, 15:20-16:05 im Raum S202/C110
TU-CAN:	20-00-0358-iv Machine Learning: Statistical Approaches
Credits:	6,0
Exam:	TBA

Beschreibung

Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme zu erstellen, die aus Daten gute Schluesse ziehen.

Warum? Schauen wir uns die Fakten an: Milliarden von Webseiten stehen uns zur Verfuegung, Videos mit eine akkumulierten Dauer von 20 Stunden werden jede Minute auf YouTube hochgeladen und die Supermarktkette Walmart alleine schaff mehr als eine Million Transaktionen pro Stunde und eine Datenbank mit mehr als 2.5 Petabytes an Information. John Naisbitt hat es klar auf den Punkt gebracht:

We are drowning in information and starving for knowledge.

Die wichtigste Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. Nicht nur das: es ist heute schon die Technologie, die Informatikern die besten Jobs verspricht. Hal Varian, 2009, der Chief Engineer von Google drueckte sich wie folgt aus:

''I keep saying the sexy job in the next ten years will be statisticians and machine learners. People think I’m joking, but who would’ve guessed that computer engineers would’ve been the sexy job of the 1990s? The ability to take data — to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it — that’s going to be a hugely important skill in the next decades.''

Inhalt dieser Vorlesung ist dementsprechend die Einfuehrung in das Maschinelle Lernen. Es wird hierbei besonderer Wert auf eine verstaendliche Darstellung gelegt sowie auf die Bearbeitung kleiner Beispielprobleme durch Studenten. Der Dozent legt besonderen Wert auf viel Interaktion mit den Teilnehmern der Vorlesung.

Lehrinhalte

Die Vorlesung gibt eine systematische Einfuehrung in statistische Verfahren des maschinellen Lernens. Die Vorlesung behandelt voraussichtlich folgende Themen: Probability Distributions, Linear Models for Regression and Classification, Kernel Methods, Graphical Models, Mixture Models and EM, Approximate Inference, Continuous Latent Variables, Hidden Markov Models.

Vorwissen

Mathematik aus den ersten Semestern, Programmieren in C, Grundlagen der Informatik

Office Hours

Jan Peters (Professor)	Donnerstag, 11:40 - 12:40
Oliver Kroemer (Teaching Assistant)	Dienstag, 16:05 - 17:05

Sprache

The lectures will be in English unless severe concerns exist...

Syllabus

Nr.	Date	Topic	Background Material
1	Di, 10. Apr. 2012	Introduction	Slides
2	Mi, 11. Apr. 2012	Linear Algebra Refresher	Slides ,Background Reading
3	Di, 17. Apr. 2012	Statistics Refresher	Slides, Read: Bishop Chap.2
			or Murphy Chap 2 or MacKay Chap.1+2 .
4	Mi, 18. Apr. 2012
5	Di, 24. Apr. 2012	Optimization	Slides, Read: Bishop Appendix E
6	Mi, 25. Apr. 2012		Try this script: Matlab Script
7	Mi, 2. Mai 2012	Homework Answered	Homework 1 due!
8	Di, 8. Mai 2012	Bayesian Decision Theory	Slides
9	Mi, 9. Mai 2012	Probability Density Estimation	Slides
10	Di, 15. Mai 2012	Clustering
11	Mi, 16. Mai 2012	Linear Classification
12	Di, 22. Mai 2012
13	Mi, 23. Mai 2012	Linear Regression
14	Di, 29. Mai 2012	Kernel Methods for Regression	Homework 2 due!
15	Mi, 30. Mai 2012	Homework Answered
16	Di, 5. Jun. 2012
17	Mi, 6. Jun. 2012	ctd
18	Di, 12. Jun. 2012
19	Di, 19. Jun. 2012	Dimensionality Reduction
20	Mi, 20. Jun. 2012
21	Di, 26. Jun. 2012	Support Vector Machines
22	Mi, 27. Jun. 2012
23	Di, 3. Jul. 2012	SVMs ctd.
24	Mi, 4. Jul. 2012
25	Di, 10. Jul. 2012	Introduction to Graphical Models
26	Mi, 11. Jul. 2012

Literatur

Die wichtigsten Buecher fuer die Vorlesung sind

1. C.M. Bishop, Pattern Recognition and Machine Learning (2006), Springer book announcement
2. K.P. Murphy, Machine Learning: a Probabilistic Perspective (expected 2012), MIT Press book announcement

Vorabdrucke von Kevin Murphy's erstklassigem Buch koennen bei uns auf dem DOODLE bestellt werden.

Praktisch sind auch die folgenden Buecher:

1. D. Barber, Bayesian Reasoning and Machine Learning (2012), Cambridge University Press Free online copy.
2. T. Hastie, R. Tibshirani, and J. Friedman (2003), The Elements of Statistical Learning, Springer Verlag Free online copy.
3. D. MacKay, Information Theory, Inference, and Learning Algorithms (2003), Cambridge University Press Free online copy.
4. R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification (2nd ed. 2001), Willey-Interscience
5. T.M. Mitchell, Machine Learning (1997), McGraw-Hill
6. R. Sutton, A. Barto. Reinforcement Learning - an Introduction, MIT Press Free online copy.

Betreuer

Die Vorlesung wird von Jan Peters gehalten und zusaetzlich von Oliver Kroemer betreut.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Oliver Kroemer, M.Sc. ist obwohl er erst 25 Jahre alt ist bereits durch einschlaegige Publikationen im Bereich des Robot Learning bekannt und hat sich insbesondere durch Arbeit im Maschinellen Lernen fuer Robotergreifen, taktiler Exploration und Manipulation ausgezeichnet. Dabei hat er u.A. den ICINCO 2010 Best Paper Award gewonnen. Studiert hat Oliver Kroemer an der beruehmtesten Universitaet Europas, der Cambridge University. Fuer Rueckfragen auf Deutsch oder Englisch steht Oliver Kroemer unter oli@robot-learning.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Oliver Kroemer im Robert-Piloty Gebaeude S2|02 im Raum E327 zu finden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!