Lezione 7

Seconda parte della disuguaglianza di Jensen (per funzioni strettamente convesse). Dimostrazione che l'entropia relativa è nondegenere. Informazione reciproca e sue proprietà, esempi.

Lezione 6

Si inizia ad usare più direttamente il testo:
Entropia di una variabile aleatoria, entropia condizionale di una v.a. rispetto ad un'altra, entropia congiunta. Entropia relativa.

Lezione 5

Dimostrazione del Teoremone.

Lezione 4

Enunciato del "Teoremone" sull'entropia condizionale e sua interpretazione. Disuguaglianza di Jensen.

Lezione 3

Cenni sugli spazi di probabilità e la probabilità condizionale. Entropia di una partizione. Ordinamento parziale e operazioni sulle partizioni. Entropia condizionale.

Lezione 2

Lezione Zero del corso: Dall'entropia di Boltzmann all'entropia di Shannon.
Letture extra interessanti: La freccia del tempo e l'entropia di Boltzmann, di J. Lebowitz.
Gioco in rete: Twenty Questions.

Lezione 1

Presentazione del corso e accordi vari.