Disuguaglianza di Cramér-Rao

In statistica, la disuguaglianza di Cramér-Rao, che prende il nome da Harald Cramér e Calyampudi Radhakrishna Rao, afferma che il reciproco della matrice informazione di Fisher per un parametro costituisce un limite inferiore alla varianza di uno stimatore corretto per il parametro (denotato ):

In alcuni casi, non esiste uno stimatore corretto che consegue il limite inferiore così stabilito.

Non è infrequente trovare riferimenti alla disuguaglianza di Cramér-Rao come al limite inferiore di Cramér-Rao.

Si ritiene che il matematico francese Maurice René Fréchet sia stato il primo a scoprire e dimostrare questa disuguaglianza.[1]

Condizioni di regolaritàModifica

La disuguaglianza di Cramér-Rao si fonda su due deboli condizioni di regolarità che caratterizzano la funzione di densità  , e lo stimatore adottato,  . Tali condizioni richiedono che:

  • L'informazione di Fisher sia sempre definita; ciò equivale a richiedere che, per ogni   tale che  ,
 
  • Le operazioni di integrazione rispetto a   e di derivazione rispetto a   possano essere scambiate all'interno del valore atteso dello stimatore  , ossia:
 
ogniqualvolta il secondo membro della relazione sopra è finito.

Laddove la seconda condizione di regolarità è estesa al secondo ordine di derivazione, è possibile esprimere la disuguaglianza tramite una forma alternativa dell'informazione di Fisher, così che il limite inferiore di Cramér-Rao è dato da:

 

In alcuni casi, può risultare più semplice applicare la disuguaglianza nella forma testé espressa.

Si osservi che uno stimatore non corretto potrà avere una varianza o uno scarto quadratico medio inferiore al limite di Cramér-Rao; questo perché la disuguaglianza è riferita esclusivamente a stimatori corretti.

DimostrazioneModifica

La dimostrazione della disuguaglianza di Cramér-Rao passa attraverso la verifica di un risultato più generale; per un qualsiasi stimatore (statistica di un campione  )  , il cui valore atteso è denotato da  , e per ogni  :

 

La disuguglianza di Cramér-Rao discende direttamente da quest'ultima relazione, come caso particolare.

Sia dunque   una variabile casuale, avente funzione di densità  .   è una statistica utilizzata come estimatore del parametro  . Sia inoltre   il suo score, o derivata logaritmica rispetto a  :

 

Il valore atteso   è nullo. Ciò a sua volta implica che  . Espandendo quest'ultima espressione, si ha:

 

Svolgendo la derivata tramite la regola della catena:

 

e conoscendo la definizione di speranza matematica:

 

dal momento che gli operatori di derivazione e integrazione commutano.

Tramite la disuguaglianza di Cauchy-Schwarz si ha inoltre:

 

dunque:

 

come volevasi dimostrare. Ora, se   è uno stimatore corretto per  ,  , e  ; dunque la relazione sopra diviene:

 

ossia la disuguaglianza di Cramér-Rao.

Estensione a più parametriModifica

Al fine di estendere la disuguaglianza di Cramér-Rao al caso di un vettore di parametri, si definisca il vettore colonna:

 

e sia ad esso associata una funzione di densità   che soddisfi le condizioni di regolarità elemento per elemento.

L'informazione di Fisher   è allora una matrice di dimensioni  , il cui generico elemento   è definito da:

 

La disuguaglianza di Cramér-Rao è dunque formulata come:

 

dove:

  •  
  •  
  •  
  •  

e   è una matrice semidefinita positiva, ossia tale per cui  .

Se   è uno stimatore corretto, e dunque  , la disuguaglianza di Cramér-Rao è:

 

La disuguaglianza stessa è da intendersi nel senso che la differenza tra il primo e il secondo membro è ancora una matrice semidefinita positiva.

Disuguaglianza di Cramér-Rao ed efficienzaModifica

La disuguaglianza di Cramér-Rao è strettamente legata al concetto di efficienza di uno stimatore. In particolare, è possibile definire una misura di efficienza per uno stimatore   per il parametro (o vettore di parametri)  , come:

 

ossia la minima varianza possibile per uno stimatore corretto, basata sulla disuguaglianza di Cramér-Rao, rapportata all'effettiva varianza. In base alla disuguaglianza di Cramér-Rao, ovviamente  .

Illustrazione del risultatoModifica

Si illustra il significato della disuguaglianza di Cramér-Rao tramite un esempio basato sulla variabile casuale normale multivariata. Sia un vettore aleatorio  , tale che:

 

dove   denota la distribuzione normale; la funzione di densità multivariata associata è:

 

La matrice informazione di Fisher ha generico elemento  :

 

dove   denota l'operatore traccia di una matrice.

Si consideri caso di un vettore aleatorio gaussiano come sopra, di dimensione  , con media nulla ed elementi indipendenti aventi ciascuno varianza  :

 

La matrice informazione di Fisher è allora  :

 

Dunque il limite inferiore di Cramér-Rao per la varianza di uno stimatore   per   è dato da:

 

Giova osservare che tale limite è pari alla varianza teorica dello stimatore di massima verosimiglianza per il parametro   nelle ipotesi presentate.

NoteModifica

  1. ^ Wiebe R. Pestman, Mathematical Statistics: An Introduction, Walter de Gruyter, 1998, ISBN 3-11-015357-2, p. 118.

BibliografiaModifica

  • D.C. Boes, F.A. Graybill, A.M. Mood (1988), Introduzione alla Statistica, McGraw-Hill Libri Italia, ISBN 88-386-0661-7, un testo di riferimento per i fondamenti della statistica matematica; la disuguaglianza di Cramér-Rao è trattata nei capitoli sui metodi di ricerca degli stimatori.
  • Alexander Craig Aitken e H. Silverstone, "On the Estimation of Statistical Parameters", in Proceedings of the Royal Society of Edinburgh, 1942, vol. 61, pp. 186-194, dove gli autori sviluppano idee di Ronald Fisher descrivendo un caso particolare di quella che sarebbe diventate la Disuguaglianza di Cramèr-Rao

Voci correlateModifica

  Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica