Apri il menu principale
Entropie individuali (H(X),H(Y)), congiunte (HeX,Y), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Indice

DefinizioneModifica

L'entropia congiunta di due variabili   e   è definita come:

 

dove   e   sono valori di   and  , rispettivamente,   è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

 .

Per un numero di variabili maggiore di due   la formula si estende a:

 

in cui   sono valori di  , respectively,   è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

 .

ProprietàModifica

Maggiore o uguale delle entropie individualiModifica

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

 
 

Minore o uguale alla somma delle entropie individualiModifica

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se   e   sono statisticamente indipendenti.

 
 

Relazioni con altre misure di entropiaModifica

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

 

e della mutua informazione

 

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.