Entropia condizionale

Nella teoria dell'informazione l'entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria $\mathrm {X}$ noto il valore di un'altra variabile aleatoria $Y$. Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore all'ingresso al canale dopo che è stato osservato il valore di uscita. L'entropia di $X$ condizionata da $Y$ si definisce come $H(X|Y)$.

Definizione

Se $H(X|Y=y_{k})$ è l'entropia della variabile $X$ condizionata dalla variabile $Y$ che assume un certo valore $y_{k}$, allora $H(X|Y)$ è il risultato della media pesata di $H(X|Y=y_{k})$ su tutti i possibili valori $y_{k}$ che la $Y$ può assumere.

Dato un alfabeto di simboli in ingresso $X={\{x_{0},x_{1},...,x_{J-1}}\}$, un alfabeto di simboli in uscita $Y={\{y_{0},y_{1},...y_{K-1}}\}$ con probabilità $p(y_{0}),...,p(y_{K-1})$ l'entropia condizionale si definisce come:

$H(X|Y)$ $\equiv$ $\sum _{k=0}^{K-1}H(X|Y=y_{k})p(y_{k})$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j}|y_{k})p(y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]$

$=\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_{j},y_{k})log_{2}\left[{\frac {1}{p(x_{j}|y_{k})}}\right]$

dove nell'ultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata: $p(x_{j},y_{k})=p(x_{j}|y_{k})p(y_{k})$.

Bibliografia

• Simon Haykin, Michael Moher, Communication Systems, 2001, ISBN 0-471-17869-1.