Metodo della massima verosimiglianza

metodo per trovare uno stimatore

Il metodo della massima verosimiglianza, in statistica, è un procedimento matematico per determinare uno stimatore. Caso particolare della più ampia classe di metodi di stima basata sugli stimatori d'estremo, il metodo consiste nel massimizzare la funzione di verosimiglianza, definita in base alla probabilità di osservare una data realizzazione campionaria, condizionatamente ai valori assunti dai parametri statistici oggetto di stima. Il metodo è stato sviluppato, originariamente, dal genetista e statistico sir Ronald Fisher, tra il 1912 e il 1922.

Descrizione

modifica

Filosofia del metodo

modifica

Data una distribuzione di probabilità  , con funzione di massa (o densità, se continua) di probabilità  , caratterizzata da un parametro  , dato un campione di dati osservati   di dimensione   si può calcolare la probabilità associata ai dati osservati:

 

D'altra parte, può darsi che il parametro   sia ignoto, sebbene sia noto che il campione è estratto dalla distribuzione  . Un'idea per stimare   è allora utilizzare i dati a nostra disposizione:   per ottenere informazioni su  .

Il metodo della massima verosimiglianza ricerca il valore più verosimile di  , ossia ricerca, all'interno dello spazio   di tutti i possibili valori di  , il valore del parametro che massimizza la probabilità di aver ottenuto il campione dato. Da un punto di vista matematico,   o equivalentemente   è detta funzione di verosimiglianza, e lo stimatore di massima verosimiglianza è ottenuto come:

 

Al fine di illustrare il metodo della massima verosimiglianza, si consideri un campione   di variabili casuali identicamente e indipendentemente distribuite, con distribuzione normale:  . La funzione di verosimiglianza associata è:

 

La massimizzazione della funzione di verosimiglianza è equivalente a massimizzarne il logaritmo:

 

I parametri   e   sono determinati risolvendo il problema di massimo:

 

Le condizioni del primo ordine per un massimo definiscono il seguente sistema di equazioni in   e  :

 
 

dove i segni di apice sopra i parametri denotano i loro stimatori. Dalla prima equazione discende immediatamente lo stimatore di massima verosimiglianza per la media:

 

cioè la media campionaria. La varianza dello stimatore   è data dalla seguente espressione[1]:

 

Sostituendo   nella seconda equazione, si ha lo stimatore di massima verosimiglianza per la varianza:

 

cioè la varianza campionaria.

L'esempio è particolarmente calzante, perché consente di illustrare alcune proprietà degli stimatori di massima verosimiglianza. È immediato verificare la correttezza (o unbiasedness) di  :

 

D'altra parte,   non gode di tale proprietà. Ricordando che:

 

segue che:

 

Dunque   non è uno stimatore corretto; un tale stimatore sarebbe dato dalla statistica:

 

Val la pena d'altra parte di osservare che lo stimatore di massima verosimiglianza è comunque uno stimatore asintoticamente corretto; infatti:

 

In particolare, qualunque stimatore di massima verosimiglianza è asintoticamente corretto e asintoticamente normalmente distribuito.

L'espressione per la varianza dello stimatore   è al di là degli scopi di questo esempio.

È interessante osservare che gli stimatori derivati in questa sezione sono identici a quelli ottenibili, nelle stesse condizioni, impiegando il metodo dei momenti; a scanso di equivoci, si precisa che i due metodi di ricerca degli stimatori non conducono necessariamente a individuare gli stessi stimatori in condizioni più generali.

Applicazione alla Poissoniana

modifica

Al di là dei problemi evidenziati negli esempi sopra, altre difficoltà, di portata più generale, possono essere associate agli stimatori di massima verosimiglianza.

Il valore dello stimatore di massima verosimiglianza può non appartenere allo spazio dei parametri  . Si consideri il caso di un campione   di v.c. identicamente e indipendentemente distribuite, con distribuzione di Poisson di parametro  . La funzione di verosimiglianza associata è:

 

Così che la funzione di log-verosimiglianza risulta:

 

Lo stimatore di massima verosimiglianza sarebbe dunque  . Si supponga tuttavia che  ; poiché  , la stima ottenuta con il metodo della massima verosimiglianza non è ammissibile.

A prima vista il problema potrebbe apparire un dettaglio matematico di scarso rilievo nella pratica; la sua portata nelle applicazioni è tuttavia più rilevante di quanto sembri. Restando nell'ambito dell'esempio testé esposto, si osservi che la variabile casuale poissoniana è spesso utilizzata come modello per il numero di arrivi a uno sportello, un ufficio, la fermata di un autobus, etc. (si tratta di un'applicazione della teoria delle code, che fa per la precisione riferimento al processo di Poisson); in tale contesto,   rappresenta il tasso atteso di arrivi per unità di tempo. È chiaro che ipotizzare   in qualche misura snatura il processo sotto esame: può darsi che, nell'intervallo di tempo corrispondente al campione utilizzato per la stima, nessun cliente sia arrivato allo sportello (nessun passeggero alla fermata dell'autobus, etc.); ciò non significa che ci si debba aspettare che nessun cliente (o passeggero, etc.) arrivi mai!

Lo stimatore di massima verosimiglianza, inoltre, non è necessariamente unico. Si consideri, ad esempio, il caso di un campione   di variabili casuali identicamente e indipendentemente distribuite, aventi distribuzione uniforme sull'intervallo  , con  . La funzione di verosimiglianza associata è:

 

dove   denota la funzione indicatrice. Si supponga che il campione sia ordinato in modo tale che:

 

(tale ipotesi è lecita in quanto le   sono indipendentemente distribuite). È facile mostrare che:

 

Ne consegue che lo stimatore di massima verosimiglianza per   è unico se e solo se  ; diversamente, un numero infinito di valori dello stimatore   massimizza la funzione di verosimiglianza.

Proprietà degli stimatori di massima verosimiglianza

modifica

Invarianza funzionale

modifica

Se   è lo stimatore di massima verosimiglianza per il parametro  , allora lo stimatore di massima verosimiglianza per   è  , ciò vale per ogni , indipendentemente dal fatto che sia una funzione biiettiva.

Distorsione

modifica

Gli stimatori di massima verosimiglianza, come illustrato negli esempi, possono essere distorti (cioè non corretti o all'inglese biased), anche in maniera consistente. D'altra parte essi sono asintoticamente corretti.

Efficienza e comportamento asintotico

modifica

Gli stimatori di massima verosimiglianza non conseguono in generale il limite inferiore per la varianza stabilito dal risultato di Cramér-Rao, lo conseguono però asintoticamente, cioè la varianza si discosta dal limite inferiore di Cramér-Rao per una quantità infinitesima al crescere di n. In condizioni di regolarità (spazio campionario non dipendente dal parametro e   ed esistono i valori attesi di tutte le derivate parziali della log-verosimiglianza fino al terzo ordine), gli stimatori di massima verosimiglianza sono inoltre asintoticamente normalmente distribuiti.

Bibliografia

modifica
  • D. C. Boes, F. A. Graybill, A. M. Mood (1988), Introduzione alla Statistica, McGraw-Hill Libri Italia, ISBN 88-386-0661-7 (testo sui fondamenti della statistica matematica, con diversi capitoli sui metodi di ricerca degli stimatori)
  • L. Pace, A.Salvan (2022), Introduzione alla statistica - II - Inferenza, verosimiglianza, modelli, CEDAM

Voci correlate

modifica

Altri progetti

modifica

Collegamenti esterni

modifica
Controllo di autoritàThesaurus BNCF 57804