Research oriented topics in information theory (Lecture)

Lecturer (assistant)
Number0000004898
TypeLecture
Duration2 SWS
TermWintersemester 2018/19
Language of instructionGerman
Position within curriculaSee TUMonline
DatesSee TUMonline

Dates

Admission information

Objectives

Nach dem erfolgreichen Abschluss des Moduls kennt der Studierende praktische Methoden zur Bestimmung der Kanalkapazität. Er ist in der Lage, die abstrakten Resultate auf praktisch relevante Spezialfälle anzuwenden und für diese Fälle die Transinformation und die zugehörige Kapazität zu bestimmen. Des weiteren kennt er wichtige abstrakte informationstheoretische Modelle, Konzepte und Methoden zur Analyse theoretischer Grenzen einer zuverlässigen Informationsübertragung über zeitdiskrete fundamentale Kanäle.

Description

In Einführungsvorlesungen zur Informationstheorie werden allgemeine Methoden zur Bestimmung der Kanalkapazität betrachtet, die jedoch in der Praxis kaum Anwendung finden. In dieser Lehrveranstaltung werden praktisch relevante Methoden vorgestellt, mit dem Ziel spezielle Übertragungsmodelle diskutieren zu können. In der Vorlesung werden grundlegende Aussagen für fundamentale Übertragungskanäle hergeleitet, die die theoretischen Grenzen einer zuverlässigen Informationsübertragung aufzeigen. Die Vorlesung beginnt mit einem Exkurs durch die mathematische Ungleichungstheorie und stellt die nicht-konvexe Optimierung und Variationsrechnung vor. Danach werden informationstheoretische Problemstellungen aufgezeigt. Die Transinformation und kapazitätserreichende Eingangsverteilung werden für fundamentale Kanäle diskutiert und Effekte der Quantisierung und Zensierung untersucht. Für schwere Problemstellungen werden obere und untere Schranken hergeleitet.

Prerequisites

- Grundlagen der Informations- und Wahrscheinlichkeitstheorie - Kenntnisse in Analysis - Interesse an abstrakten mathematischen Konzepten und Methoden

Teaching and learning methods

Entwicklung und Präsentation der Vorlesungsinhalte an der Tafel und mit Präsentationsfolien.

Examination

Die Modulprüfung ist mündlich und findet ohne zusätzliche Hilfsmittel statt. Es besteht durch die freiwillige Abgabe von Hausaufgaben die Möglichkeit, sich einen Bonus für die Prüfung zu erarbeiten. In der Prüfung soll nachgewiesen werden, dass die in der Vorlesung behandelten informationstheoretischen Konzepte und Aussagen für abstrakte und zeitkontinuierliche Übertragungsmodelle verstanden wurden. Wesentliche Grundlagen und Erkenntnisse aus der Vorlesung und der Übung sollen benannt und Fragen zu verwendeten Techniken beantwortet werden können. Die Beantwortung der Fragen schließt kurze Rechnungen und Beweisskizzen mit ein. Darüber hinaus wird erwartet, dass die erlernten allgemeinen Konzepte auf praktisch relevante Modelle (entsprechend der präsentierten Beispiele und besprochenen Übungsaufgaben) angewendet werden können.

Recommended literature

Mark S. Pinsker: Information and Information Stability of Random Variables and Processes, Holden-Day, 1964 J. Michael Steele, The Cauchy-Schwarz Master Class: An Introduction to the Art of Mathematical Inequalities, Cambridge University Press, 2004

Links