Stochastic Methods for Data-Driven Applications

Vortragende/r (Mitwirkende/r)
Nummer0000005389
ArtSeminar
Umfang2 SWS
SemesterSommersemester 2020
UnterrichtsspracheEnglisch
Stellung in StudienplänenSiehe TUMonline
TermineSiehe TUMonline

Termine

Teilnahmekriterien

Lernziele

Nach erfolgreicher Absolvierung des Seminars, sind die Studierenden in der Lage: 1) die Wirkung des Zufalls als Störfaktor in datengetriebenen Algorithmen zu untersuchen, und entsprechenden Ansätzen für Gegenmaßnahmen zu geben, 2) Den Zufall als einen potentiellen Faktor zur Performancesteigerung datengetriebener Algorithmen zu erkennen und zu diskutieren. 3) Sich selbständig in ein mathematisches Themengebiet einarbeiten sowie eine wissenschaftliche Präsentation vorzubereiten und zu halten.

Beschreibung

Die Stochastik mit Zufallsvariablen findet mannigfache Anwendung in datengetriebenen Anwendungen wie der Signalverarbeitung und des maschinelles Lernen. Insbesondere sind stochastische Methoden ein unverzichtbarer Bestandteil der genannten Anwendungen. In diesem Seminar sollen exemplarisch technische Resultate sowie aktuelle Anwendungen ausgewählter stochastischer Methoden besprochen und gemeinsam erarbeitet werden. Dabei wird vor allem auf eine tiefere Diskussion der verwendeten Beweismethoden Wert gelegt. Exemplarische Themen zu den technischen Resultaten sind: 1) Konzentrationsungleichungen für skalare Zufallsvariablen, wie z.B. Chernoff- und Bernstein‘schen tail bounds, 2) Konzentrationsungleichungen für Martingale, wie z.B. Azuma’sche Ungleichung, 3) Konzentrationsungleichungen für matrixwertige Zufallsvariablen, 4) Mixingeigenschaften von Markoffketten. Exemplarische Themen zu der Anwendungen sind: 1) Wirkung des Rauschens in Optimierungsmethoden erster Ordnung (z.B. Gradient Descent), 2) Untersuchung der Generalisierbarkeit von überwachtem Lernen, 3) Verteilte Algorithmen und Markoffketten, 4) Community Detection und Clustering.

Inhaltliche Voraussetzungen

Grundkenntnissen in Analysis und Linearer Algebra sowie elementarer Stochastik. Grundkenntnisse in Informationstheorie oder Signaltheorie.

Lehr- und Lernmethoden

Seminar: abwechselnde Vorträge der Dozenten und Teilnehmer anhand von wissenschaftlichen Arbeiten zum Thema.

Studien-, Prüfungsleistung

Der Prüfungsleistung des Seminars umfasst einen erfolgreich gehaltenen 2-stündigen Vortrag sowie eine (mindestens 8-seitige oder 4-doppelseitige) schriftliche Zusammenfassung des Vortragsthemas. Die Endnote ergibt sich als Mittelwert der Noten aus der schriftlichen Ausarbeitung (50%) und des Vortrags (50%).

Empfohlene Literatur

R. Vershynin: “High-Dimensional Probability – An Introduction with Applications in Data Science, Cambridge University Press”, 2018 J. Tropp: “An Introduction to Matrix Concentration Inequalities” (Foundations and Trends in Machine Learning), Now Publ. Inc., 2015. T Harsti, R. Tibshirini, and J. Friedman: “The Elements of Statistical Learning”, Springer-Verlag New York, 2009. S. Boucheron, G. Lugosi, and P. Massart: “Concentration Inequalities: A Nonasymptotic Theory of independence”, Oxford University Press, 2016 M. Mitzenmacher and E. Upfal: “Probability and Computing: Randomization and Probabilistic Techniques in Algorithms and Data Analysis”, Cambridge University Press, 2017

Links