L'entropia congiuntavariabili casuali .
Entropie individuali (H(X),H(Y)), congiunte (H(X,Y)), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).
L'entropia congiunta di due variabili
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
X
,
Y
)
=
−
∑
x
∑
y
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}
dove
x
{\displaystyle x}
y
{\displaystyle y}
X
{\displaystyle X}
Y
{\displaystyle Y}
P
(
x
,
y
)
{\displaystyle P(x,y)}
lim
P
(
x
,
y
)
→
0
P
(
x
,
y
)
log
2
[
P
(
x
,
y
)
]
=
0
{\displaystyle \lim _{P(x,y)\to 0}P(x,y)\log _{2}[P(x,y)]=0}
Per un numero di variabili maggiore di due
X
1
,
.
.
.
,
X
n
{\displaystyle X_{1},...,X_{n}}
H
(
X
1
,
.
.
.
,
X
n
)
=
−
∑
x
1
.
.
.
∑
x
n
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}
in cui
x
1
,
.
.
.
,
x
n
{\displaystyle x_{1},...,x_{n}}
X
1
,
.
.
.
,
X
n
{\displaystyle X_{1},...,X_{n}}
P
(
x
1
,
.
.
.
,
x
n
)
{\displaystyle P(x_{1},...,x_{n})}
lim
P
(
x
1
,
.
.
.
,
x
n
)
→
0
P
(
x
1
,
.
.
.
,
x
n
)
log
2
[
P
(
x
1
,
.
.
.
,
x
n
)
]
=
0
{\displaystyle \lim _{P(x_{1},...,x_{n})\to 0}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]=0}
Maggiore o uguale delle entropie individuali
modifica
L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme
H
(
X
,
Y
)
≥
max
[
H
(
X
)
,
H
(
Y
)
]
{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}
H
(
X
1
,
.
.
.
,
X
n
)
≥
max
[
H
(
X
1
)
,
.
.
.
,
H
(
X
n
)
]
{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}
Minore o uguale alla somma delle entropie individuali
modifica
L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività . Questa disuguaglianza diventa un'uguaglianza se e solo se
X
{\displaystyle X}
Y
{\displaystyle Y}
statisticamente indipendenti .
H
(
X
,
Y
)
≤
H
(
X
)
+
H
(
Y
)
{\displaystyle H(X,Y)\leq H(X)+H(Y)}
H
(
X
1
,
.
.
.
,
X
n
)
≤
H
(
X
1
)
+
.
.
.
+
H
(
X
n
)
{\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}
Relazioni con altre misure di entropia
modifica
![{\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7559a44e21e23f0560ff421bd71c7fc73731bbc7)
![{\displaystyle \lim _{P(x,y)\to 0}P(x,y)\log _{2}[P(x,y)]=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea82e661c15128bd60dce5718fe254d5a6466245)
![{\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/15d50cc0f52921862f334683f2d4c1f70be220d7)
![{\displaystyle \lim _{P(x_{1},...,x_{n})\to 0}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1b0b462069fab7237776850f7ddcdc917ce9f254)
![{\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b4a7808cbf3a0cbc8db376a79be2ad5c939f2dc9)
![{\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8090364f254e2915093ea2c74fbe5502fb00ba2b)
