Information geometry
In matematica, e specialmente in statistica inferenziale, l'information geometry è lo studio della probabilità e dell'informazione attraverso gli strumenti della geometria differenziale. Negli anni '80 è cresciuta grazie al lavoro di Shun-Ichi-Amari. Il suo libro Methods of information Geometry si può considerare il testo di riferimento corrente. Contiene infatti una vasta esposizione dei risultati raggiunti (fino all'anno 2000) in altre discipline grazie agli strumenti dell'Information geometry.
Introduzione modifica
Il principio fondamentale dell'information geometry consiste nella possibilità di trattare attraverso la geometria differenziale molte importanti strutture della teoria della probabilità, della teoria dell'informazione e della statistica. Ciò è possibile analizzando gli spazi di distribuzioni di probabilità come delle varietà differenziabili riemanniane munite di una famiglia di connessioni affine distinte dalla connessione canonica affine. Le connessioni e-affini e m-affini danno una interpretazione geometrica dell'aspettazione e della massimizzazione, come nell'algoritmo di aspettazione-massimizzazione.
Ad esempio,
- La matrice dell'informazione di Fisher è una metrica riemanniana.
- La divergenza di Kullback-Leibler è una delle famiglie di divergenze legate alla connessioni duali affini.
- Una famiglia esponenziale è una sottovarietà piatta sotto una connessione e-affine.
- La stima di massima verosimiglianza può essere ottenuta attraverso una proiezione su un modello statistico prescelto usando una connessione m-affine.
- L'esistenza e l'unicità della stima di massima verosimiglianza sulle famiglie esponenziali è conseguenza della affinità duale tra le connessioni e-affini e m-affini.
- L'algoritmo em ("em" sta per e-proiezione e m-proiezione)
