Entropia (teoria dell'informazione)

valore atteso della quantità di informazione convogliata da un messaggio

Nella teoria dell'informazione l'entropia è una misura della quantità di informazione contenuta in un messaggio trasferito attraverso un canale di comunicazione.[1] L'unità di misura tipica di questa grandezza è il Bit.[2]

Storia modifica

  Lo stesso argomento in dettaglio: Cronologia della teoria dell'informazione.

Si deve a Claude Shannon lo studio dell'entropia nella teoria dell'informazione. Il suo primo lavoro sull'argomento si trova nell'articolo Una teoria matematica della comunicazione del 1948. Nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, egli dimostrò che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media.[3] Tale risultato era implicito nella definizione dell'entropia di John Von Neumann, anche se lo stesso Von Neumann, interrogato al riguardo da Shannon nel forse unico scambio di opinioni tra loro, non ritenne la cosa degna di attenzione. Come ricordò Shannon più tardi a proposito del risultato da lui trovato:

«La mia più grande preoccupazione era come chiamarla. Pensavo di chiamarla informazione, ma la parola era fin troppo usata, così decisi di chiamarla incertezza. Quando discussi della cosa con John Von Neumann, lui ebbe un'idea migliore. Mi disse che avrei dovuto chiamarla entropia, per due motivi: "Innanzitutto, la tua funzione d'incertezza è già nota nella meccanica statistica con quel nome. In secondo luogo, e più significativamente, nessuno sa cosa sia con certezza l'entropia, così in una discussione sarai sempre in vantaggio»

Definizione modifica

Informazione intrinseca modifica

L'informazione intrinseca di un evento, detta anche autoinformazione, è la quantità d'incertezza associata allo stesso. Più concretamente è l'informazione che si ottiene affermando che tale evento si sia realizzato o meno, rimuovendo quindi l'incertezza associata. L'autoinformazione è la forma più semplice di entropia definita da Shannon, e costituisce il punto di partenza nella definizione di altri concetti della teoria dell'informazione.

L'ambiguità esistente tra incertezza ed informazione non deve stupire. Esse si presentano infatti come due facce della stessa medaglia: senza incertezza non c'è informazione, e quanta più incertezza c'è nel segnale aleatorio, tanto più informativo è rivelare qual è la determinazione del segnale.

Formalmente, sia   una sorgente di eventi  , l'entropia   associata ad un singolo evento è definita dalla seguente scrittura:

 

dove   è la probabilità che l'evento   accada.

Il logaritmo nasce dal fatto che attraverso la notazione posizionale è possibile distinguere   eventi equiprobabili con l'utilizzo di sole   cifre, dove   è la base di numerazione. Significa quindi che l'informazione di un evento può essere vista come la quantità di cifre in base   da utilizzare per distinguere l'evento accaduto da tutti gli altri eventi possibili. Il logaritmo diventa indispensabile se considerando due eventi indipendenti la cui probabilità è il prodotto delle singole probabilità si vuole che l'entropia totale sia la somma delle entropie dei singoli eventi.[4]

Entropia di una sorgente di informazione modifica

 
Entropia di una variabile di Bernoulli

Nel caso delle sorgenti di informazione, per entropia si intende una grandezza utile a stimare a priori il rateo della quantità di informazione emessa. Assunto che non sia possibile conoscere a priori quale dato verrà emesso in un certo istante, ma solo la sua probabilità, si definisce l'entropia della sorgente come la media pesata dell'autoinformazione dei simboli emissibili rispetto alla loro probabilità di emissione, a meno di una costante positiva di proporzionalità:[5]

 

Nel caso l'alfabeto della sorgente sia costituito di simboli indipendenti, ovvero equiprobabili, l'espressione dell'entropia si riduce a:

 

Nel caso particolare in cui la sorgente sia del tipo continuo invece che discreto è necessario descrivere l'entropia utilizzando l'espressione integrale omologa:

 

Entropia congiunta modifica

 
Entropie individuali  , congiunte  , e condizionali per una coppia di sottosistemi correlati   con informazione mutua  .

L'entropia congiunta di due variabili aleatorie discrete   e   è semplicemente l'entropia della coppia:  . Questo implica che, se   e   sono indipendenti, allora la loro entropia congiunta è la somma delle loro entropie individuali.

Per esempio, se   rappresenta la posizione di un pezzo di scacchi (  la riga ed   la colonna), allora l'entropia congiunta della riga e della colonna su cui è posto il pezzo sarà l'entropia della posizione del pezzo.

 

Nonostante la notazione simile, l'entropia congiunta non deve essere confusa con l'entropia incrociata.

Entropia condizionale modifica

L'entropia condizionale è la quantità di informazione necessaria per descrivere il valore di una variabile aleatoria   noto il valore di un'altra variabile aleatoria  . È anche nota come "equivoco di   con  ".
Nel contesto dei canali di telecomunicazione rappresenta l'incertezza rimanente su un dato in corso di trasmissione, rispetto all'informazione già trasmessa.

Formalmente l'entropia condizionale   di una variabile aleatoria  , data la variabile aleatoria   è definita dalla seguente scrittura:

 

Un'importante corollario di questa definizione è che l'entropia condizionale si può esprimere come differenza tra l'entropia congiunta   e l'entropia intrinseca di  .

 

Informazione mutua modifica

  Lo stesso argomento in dettaglio: Informazione mutua.

L'informazione mutua è la quantità di informazione su una variabile aleatoria che può essere ricavata osservandone un'altra. In un sistema di comunicazione è importante che sia massimizzata la quantità di informazione condivisa dai segnali inviati e ricevuti. L'informazione mutua di  , relativamente a   è:

 

Un'importante proprietà dell'informazione mutua è che

 

Ossia, conoscendo Y, possiamo risparmiare in media   bit nella codifica di X, rispetto al caso in cui Y è ignota.

L'informazione mutua è simmetrica;

 

L'informazione mutua può essere espressa come media della Divergenza di Kullback–Leibler della probabilità a posteriori di X, dato il valore di Y, rispetto alla probabilità a priori di X:

 

In altre parole, essa misura quanto, in media, la probabilità della distribuzione X cambia se conosciamo il valore di Y. Questo è spesso calcolato come divergenza dal prodotto delle distribuzioni marginali rispetto alla vera distribuzione congiunta:

 

L'informazione mutua può essere considerata una statistica per stabilire l'indipendenza tra una coppia di variabili ed ha una distribuzione asintotica ben specificata.

Entropia relativa modifica

  Lo stesso argomento in dettaglio: Divergenza di Kullback-Leibler.

L'entropia relativa, anche nota come "divergenza di Kullback-Leible", è un modo per confrontare due distribuzioni: una "vera" distribuzione di probabilità p(X) ed una distribuzione arbitraria q(X). Se comprimiamo dei dati in un qualche modo, per cui q(x) è la distribuzione seguita dai dati compressi, quando in realtà la distribuzione dei dati è p(x), la divergenza di Kullback–Leibler è il numero di bit addizionali medi per dato necessari alla compressione. È quindi definita come

 

Legame con l'entropia termodinamica modifica

  Lo stesso argomento in dettaglio: Entropia (termodinamica).

Dalla definizione statistica dell'entropia termodinamica si intuisce che l'informazione e questa grandezza termodinamica siano in qualche modo correlati. Gli studi approfonditi in questo campo sono legati al lavoro pionieristico di Claude Shannon nel campo della teoria dell'informazione.

Nel 1948 Claude Shannon infatti enuncia il teorema di unicità dell'entropia: dato un insieme di caratteri alfanumerici   e detta   la probabilità di osservare il simbolo  , si definisce una funzione di entropia  , che deve rispettare le tre condizioni seguenti:

  • se   ha probabilità   di verificarsi, allora  ;
  • dati i sistemi indipendenti   e  , si ha la seguente condizione di subadditività:  ;
  • l'entropia   è massima quando   (dove   è il numero totale di stati).

Allora si dimostra che tale definizione di entropia   è ben posta ed è l'unica possibile.

L'informazione viene matematicamente espressa dalla relazione

 

che, utilizzando il logaritmo in base 2 della probabilità   che si verifichi un dato evento, permette di ottenere un valore misurato in bit. 1 bit equivale ad esempio all'informazione ottenibile dal lancio di una moneta ( ).

Dall'entropia espressa dalla relazione di Boltzmann è facile ricavare l'uguaglianza

 

che permette di esprimere l'entropia nella medesima unità di misura dell'informazione, ossia il bit. Notare come   si identifichi con  . In conclusione si dimostra che vale la relazione

 

che si può enunciare come "a un aumento di entropia corrisponde una perdita di informazione su un dato sistema, e viceversa".

Grandezze associate modifica

Efficienza di un alfabeto modifica

Dato un alfabeto di   simboli, la sua entropia   nel trasmettere informazioni è massima se tutti i simboli vengono utilizzati con la stessa frequenza e si può definire l'efficienza dell'alfabeto come il rapporto tra la sua entropia e quella massima possibile per un alfabeto di   simboli:

 

Per comprimere file senza perdere informazione è necessario appunto utilizzare un alfabeto più efficiente. Se si osserva un file compresso con un editor di testo o esadecimale si può notare la grande casualità dei byte in esso contenuti. Algoritmi che permettono di migliorare una codifica poco efficiente sono ad esempio la codifica di Huffman e la codifica aritmetica, entrambe le codifiche devono stimare la probabilità con cui si presentavano i simboli della codifica precedente per poterla migliorare.

Esempi modifica

 
Fig.1 - Entropia di una sorgente binaria

L'entropia di una sorgente binaria   che ha probabilità   di produrre  , probabilità   di produrre   e di conseguenza   è (vedi Fig. 1):

 

Vale quindi 1 bit in caso di equiprobabilità dei risultati, e 0 bit nel caso in cui la sorgente sia completamente prevedibile (e cioè emetta sempre 0 o sempre 1). Tale risultato è ragionevole in quanto nel primo caso si afferma che è necessario un bit d'informazione per ogni messaggio emesso dalla sorgente, mentre nel secondo caso non è necessario alcun bit in quanto si conosce a priori il valore di tutti i messaggi e quindi la sorgente è del tutto inutile.

Per far capire la stretta correlazione tra entropia dell'informazione ed entropia della termodinamica possiamo fare il seguente esempio:

Consideriamo un sistema fisico in date condizioni di temperatura, pressione e volume, e stabiliamone il valore dell'entropia; in connessione è possibile stabilire il grado di ordine e quindi l'ammontare delle nostre informazioni (in senso microscopico). Supponiamo ora di abbassare la temperatura lasciando invariati gli altri parametri: osserviamo che la sua entropia diminuisce poiché il suo grado di ordine aumenta (ordine statico che corrisponde alla mancanza di movimento, lavoro) e con esso il nostro livello d'informazione. Al limite, alla temperatura prossima allo zero assoluto, tutte le molecole sono "quasi" ferme, l'entropia tende al minimo e l'ordine (cristallizzato, non quello dell'organizzazione neghentropica che necessita di un sistema aperto) è il massimo possibile e con esso si ha la massima certezza d'informazione; infatti non esiste più alcuna alternativa fra cui scegliere.

Note modifica

  1. ^ Entropia, in Treccani.it – Vocabolario Treccani on line, Roma, Istituto dell'Enciclopedia Italiana.;
    Entropia, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana.;
    Informazione, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana.
  2. ^ Bit, in Treccani.it – Enciclopedie on line, Roma, Istituto dell'Enciclopedia Italiana.
  3. ^ Shannon 2001.
  4. ^ Shannon 2001, p. 1.
  5. ^ Shannon 2001, pp. 9-14,27-28.

Bibliografia modifica

  • R. Bonazzi, R. Catena, S. Collina, L. Formica, A. Munna e D. Tesini, Telecomunicazioni per l'ingegneria gestionale. Codifica di sorgente. Mezzi di trasmissione. Collegamenti, Pitagora Editrice, 2004, ISBN 88-371-1561-X.
  • Olivier Costa de Beauregard, Irreversibilità, entropia, informazione: il secondo principio della scienza del tempo, Di Renzo Editore, 1994.
  • (EN) Thomas M. Cover e Joy A. Thomas, Elements of Information Theory, 2ª ed., Hoboken (NJ, USA), Wiley, 2006, ISBN 978-0-471-24195-9.
  • (EN) M. Tribus e E.C. McIrvine, Energy and information, in Scientific American, n. 224, Nature Publishing Group, 1971, pp. 178-184.

Voci correlate modifica

Altri progetti modifica

Collegamenti esterni modifica

Controllo di autoritàLCCN (ENsh85044152 · GND (DE4743861-7 · BNE (ESXX535116 (data) · BNF (FRcb11985913j (data) · J9U (ENHE987007550784405171 · NDL (ENJA01191172