Lezione 18

Classificazione dei codici. Disuguaglianza di Kraft. Codici istantanei ottimali.

Lezione 17

Spiegazione del secondo principio della termodinamica nel modellino della catena di Markov (crescita della funzione H, ecc.): interpretazioni puntuale (entropia di Boltzmann) vs. interpretazione statistica (entropia di Shannon). Esercizi di ripasso. Compressione dati.

Lezione 16

Tasso di entropia di un processo stocastico stazionario. Interpretazione nel teorema generale di Shannon-McMillan-Breiman. Tasso di entropia di una catena di Markov stazionaria. Esercizi.

Lezione 15

Le probabilità condizionali determinano un processo stocastico. Condizione di stazionerietà per una catena di Markov. Teorema ergodico per catene di Markov.

Lezione 14

Seminario della dott.ssa Chiara Basile: "Metodi entropici per l'estrazione di informazione da testi scritti".
Notebook di Mathematica per replicare alcuni grafici del seminario.

Lezione 13

Compressione dati tramite il Teorema di Shannon-McMillan-Breiman. Catene di Markov (temporalmente) omogenee. Stazionarietà di un processo stocastico.

Lezione 12

Lemma dell'equipartizione asintiotica. Teorema di Shannon-McMillan-Breiman (versione di Shannon per variabili i.i.d.).

Lezione 11

Stima dall'alto della probabilità di errore per variabili indipendenti. Varianza. Convergenza in probabilità. Disuguaglianza di Chebychev. Spazi per (finiti o infiniti) esperimenti ripetuti. Legge debole dei grandi numeri.

Lezione 10

Disuguaglianza di Fano. Esercizi.

Lezione 9

Data-processing Inequality.

Lezione 8

Altri esempi e proprietà dell'informazione reciproca. Composizione di una v.a. = "ingrezzimento" della sua partizione. Applicazioni delle proprietà di I. Informazione reciproca condizionata. Regole di composizione multipla per H e I.
Letture extra interessanti: falsificabilità di una teoria scientifica, compendio dell'epistemologia di Popper.
Chi pensa che queste cose non abbiano rilevenza pratica legga questo paragrafo.