Syllabus
Entropie a její vlastnosti: maximalizace entropie, podmíněná entropie, vzájemná informace, data processing theorem, Fanovo lemma.
Kódování zdroje: Huffmanovo kódování, typické posloupnosti, střední délka zprávy.
Kapacita kanálu a Shannonovy věty: obecný případ, binární symetrický kanál, gaussovský kanál.
Skrytý Markovův model.
Viterbiho a Fanův dekódovací algoritmus.
Annotation
Povinná přednáška pro program MIT. Základy teorie informace.