Vorlesung: Machine Learning 1 - Statistical Approaches

Wir freuen uns ueber Rueckfragen, z.B. durch ein eMail an !!!

Please subscribe to our class mailing list at http://lists.ausy.tu-darmstadt.de/listinfo/vorlesung-ml (CURRENTLY NOT AVAILABLE)

Quick Facts

Instructor:Jan Peters
TA:Roberto Calandra
Lectures:Tuesdays, 13:30-15:10 in Room S202/C120
 Wednesdays, 15:20-16:05 in Room S202/C110
TU-CAN:20-00-0358-iv Machine Learning: Statistical Approaches
Credits:6,0
Exam:TBA

Description

Die Informatik entwickelt sich seit dem Aufkommen des World-Wide-Webs von einer Computerwissenschaft langsam in die Kunst, intelligente Software- und Hardwaresysteme zu erstellen, die aus Daten gute Schluesse ziehen.

Warum? Schauen wir uns die Fakten an: Milliarden von Webseiten stehen uns zur Verfuegung, Videos mit eine akkumulierten Dauer von 20 Stunden werden jede Minute auf YouTube hochgeladen und die Supermarktkette Walmart alleine schaff mehr als eine Million Transaktionen pro Stunde und eine Datenbank mit mehr als 2.5 Petabytes an Information. John Naisbitt hat es klar auf den Punkt gebracht:

We are drowning in information and starving for knowledge.

Die wichtigste Kerntechnologie der zukuenftigen Informatik ist daher das Maschinelle Lernen. Nicht nur das: es ist heute schon die Technologie, die Informatikern die besten Jobs verspricht. Hal Varian, 2009, der Chief Engineer von Google drueckte sich wie folgt aus:

''I keep saying the sexy job in the next ten years will be statisticians and machine learners. People think Iam joking, but who would have guessed that computer engineers would have been the sexy job of the 1990s? The ability to take data, to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it, that is going to be a hugely important skill in the next decades.''

Inhalt dieser Vorlesung ist dementsprechend die Einfuehrung in das Maschinelle Lernen. Es wird hierbei besonderer Wert auf eine verstaendliche Darstellung gelegt sowie auf die Bearbeitung kleiner Beispielprobleme durch Studenten. Der Dozent legt besonderen Wert auf viel Interaktion mit den Teilnehmern der Vorlesung.

Contents

Die Vorlesung gibt eine systematische Einfuehrung in statistische Verfahren des maschinellen Lernens. Die Vorlesung behandelt voraussichtlich folgende Themen: Probability Distributions, Linear Models for Regression and Classification, Kernel Methods, Graphical Models, Mixture Models and EM, Approximate Inference, Continuous Latent Variables, Hidden Markov Models.

Requirements

Math classes from the bachelor's degree, basic programming abilities, introductionary classes to computer science

Office Hours

Jan Peters (Professor)Donnerstag, 11:40 - 12:40
Roberto Calandra (Teaching Assistant)Fridays, 11:00 - 12:00 (no appointments are needed!)

Language

All communication and the lectures will be in English unless severe concerns exist...

Final Exam

  • The exam will cover all material presented in the lectures, unless specified otherwise.
  • The exam will consist of 33 questions.
  • You can mark 3 questions as jokers:
  • These jokers questions will be disregarded during the correction and will not influence the score of the exam.
  • If more than 3 questions are marked as jokers, any excessing joker will be considered incorrect.
  • If you mark less than 3 questions as jokers, a correct question will be considered as incorrect.
  • Students are allowed to bring to the exam a cheat sheet consisting of a single A4 paper (i.e., you can use both faces).

Homeworks

SubjectRelease date
Linear Algebra, Statistics and Optimization29 April
Bayesian Decision Theory, Probability Density Estimation and ClusteringApprox. 20 May
TBAApprox. 10 June
TBAApprox. 1 July
  • 4 Homeworks will be given during the course.
  • These homeworks are not compulsory but we strongly suggest you to complete them as they provide hand-on experience on the topic (and statistically in the past years students which successfully completed the homeworks performed better in the exam).
  • Successfully complete the homeworks will provide additional bonus points for the final grade
  • You are expected to hand in the homework in your own writing and do not work in groups! Submitting the same writing will be considered cheating and you will get zero points.
  • Homeworks will be graded only if they are handed in before the beginning of the lecture on the delivery date.
  • That includes any time before the deadline if dropped in the mailbox outside Room E314@S2|02. The mailbox will be checked ten minutes before the lecture for handing-in the homeworks.
  • Email delivery will be accepted exceptionally, only if a good reason exists.
  • Corrected homework assignments will be handed back in approx. two weeks.
  • Do not use pencils (or don’t complain if we can’t read it)
  • Do not use green or red pens if handwritten
  • Create nice plots or points will be removed (part of the training)
  • Vectorized code will get a small bonus
  • We will be using MATLAB (for the programming assignments). Exceptionally, and upon agreement with the TA, Python can be used as an alternative.
  • if the exercise is a programming one, then code is expected to be handed in, except if noted differently
  • Include only the important snippets of code, not whole listings
  • Your code must be briefly documented
  • There will be a Q&A session for each homework release
  • The assignment can be updated after the Q&A to include your comments and improve the understanding of the exercise, or if bugs are spotted
  • After the deadline of the assignment there will be a presentation of the solutions

Lectures

To see the lectures, please login with your TU-ID.!!!

Literatur

Die wichtigsten Buecher fuer die Vorlesung sind

  1. C.M. Bishop, Pattern Recognition and Machine Learning (2006), Springer book announcement
  2. K.P. Murphy, Machine Learning: a Probabilistic Perspective (expected 2012), MIT Press book announcement

Praktisch sind auch die folgenden Buecher:

  1. D. Barber, Bayesian Reasoning and Machine Learning (2012), Cambridge University Press Free online copy.
  2. T. Hastie, R. Tibshirani, and J. Friedman (2003), The Elements of Statistical Learning, Springer Verlag Free online copy.
  3. D. MacKay, Information Theory, Inference, and Learning Algorithms (2003), Cambridge University Press Free online copy.
  4. R.O. Duda, P.E. Hart, and D.G. Stork, Pattern Classification (2nd ed. 2001), Willey-Interscience
  5. T.M. Mitchell, Machine Learning (1997), McGraw-Hill
  6. R. Sutton, A. Barto. Reinforcement Learning - an Introduction, MIT Press Free online copy.


Betreuer

Die Vorlesung wird von Jan Peters gehalten und zusaetzlich von Roberto Calandra betreut.

Professor Jan Peters baut seit dem 1. July 2011 am Fachbereich Informatik der TU Darmstadt das neue Fachgebiet Intelligente Autonome Systeme auf. Einer seiner wichtigsten Forschungsschwerpunkte ist die Entwicklung von neuen Methoden zum maschinellen Lernen in Autonomen Technischen Systemen und Robotern. Fuer Rueckfragen auf Deutsch oder Englisch steht Jan Peters unter mail@jan-peters.net zur Verfuegung. Fuer einen persoenlichen Kontakt ist Jan Peters im Robert-Piloty Gebaeude S2|02 im Raum E314 zu finden.

Roberto Calandra ist seit Februar 2012 PhD Student am IAS. Fuer Rueckfragen auf Englisch steht Roberto Calandra unter calandra@ias.tu-darmstadt.de zur Verfuegung. Fuer einen persoenlichen Kontakt ist Roberto Calandra im Robert-Piloty Gebaeude S2|02 im Raum E323 zu finden.

Wir freuen uns ueber Rueckfragen. Bei Unklarheiten melden Sie sich bitte sofort!

  

zum Seitenanfang