Entropia incrociata

Nella teoria dell'informazione, l'entropia incrociata (o cross-entropia) fra due distribuzioni di probabilità $p$ e $q$, relative allo stesso insieme di eventi, misura il numero medio di bit necessari per identificare un evento estratto dall'insieme nel caso sia utilizzato uno schema ottimizzato per una distribuzione di probabilità $q$ piuttosto che per la distribuzione vera $p$.

Definizione

L'entropia incrociata della distribuzione $q$ relativamente alla distribuzione $p$ è definita come

$C\left(p\|q\right)=-\mathbb {E} _{p}\left[\log _{2}q\right]$.

Se $p$ e $q$ sono distribuzioni di probabilità discrete la precedente assume la forma

$C\left(p\|q\right)=-\displaystyle \sum _{i}p_{i}\log _{2}q_{i}$,

che facendo uso della divergenza di Kullback-Leibler può anche essere riespressa come

$C\left(p\|q\right)=H(p)+D\left(p\|q\right)$

dove $H(p)$ è l'entropia della distribuzione di probabilità $p$.

In alcuni contesti l'entropia incrociata viene anche indicata come $H(p,q)$, ma tale scelta può creare confusione in quanto adottata anche per denotare l'entropia congiunta delle due distribuzioni di probabilità $p$ e $q$.

Proprietà

Grazie alla disuguaglianza di Jensen si può mostrare la non-negatività della divergenza di Kullback-Leibler; da questo risultato segue la disuguaglianza

$C\left(p\|q\right)\geq H(p)$,

in cui l'uguaglianza è soddisfatta per $q=p$. Inoltre, poiché $H(p)\geq 0$, segue anche $C(p\|q)\geq 0$ per ogni $p$ e $q$.

Bibliografia

• Pieter-Tjerk de Boer, Dirk Kroese, Shie Mannor, Reuven Y. Rubinstein, A Tutorial on the Cross-Entropy Method (PDF), su eprints.eemcs.utwente.nl.

• Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2012.