Iperparametro

In statistica bayesiana, un iperparametro è un parametro di una distribuzione di probabilità a priori; il termine è impiegato per distinguere dai parametri del sottostante sistema in esame. Gli iperparametri originano in particolare quando si impiegano distribuzioni a priori.

Per esempio, se si sta usando una distribuzione Beta per modellare la distribuzione di un parametro p di una distribuzione di Bernoulli, allora:

• p è un parametro del sistema sottostante (la distribuzione di Bernoulli) mentre
• α e β sono parametri della distribuzione a priori (la distribuzione Beta), quindi iperparametri.

Per un dato parametro si può considerare di prendere un suo singolo valore oppure un'intera distribuzione di probabilità, detta distribuzione di probabilità a iperpriori.

Scopo

Una distribuzione a priori viene spesso scelta da una famiglia parametrica di distribuzioni di probabilità in quanto può essere più conveniente che produrre una funzione arbitraria. Infatti così è possibile scegliere la forma della distribuzione a priori variando ad esempio un iperparametro della famiglia, in particolare nel metodo cosiddetto di distribuzione a priori coniugata oppure per analisi di sensibilità.

Distribuzione a priori coniugata

Usando una distribuzione a priori coniugata, la distribuzione a posteriori proviene dalla medesima famiglia, ma ha iperparametri differenti, che riflettono l'informazione aggiunta dai dati: in termini soggettivi, le credenze sono state aggiornate. Nel caso di una distribuzione a priori generica, il calcolo può essere molto complicato e la distribuzione a posteriori può essere insolita o di una forma difficile da descrivere, tuttavia con una distribuzione a priori coniugata generalmente esiste una semplice formula che collega i valori degli iperparametri della distribuzione a posteriori ai valori degli iperparametri della distribuzione a priori, facilitando perciò il calcolo della distribuzione a posteriori.

Analisi della sensibilità

Una preoccupazione chiave degli utilizzatori della statistica bayesiana, e oggetto di critica, è la dipendenza della distribuzione a posteriori dalla scelta della distribuzione a priori. Gli iperparametri rispondono a questo permettendo una loro facile variazione al fine di vedere come varia la distribuzione a posteriori (e varie sue statistiche, come gli intervalli di credibilità): si può vedere quanto sensibili sono le conclusioni sulle scelte a priori, e questo processo è chiamato analisi della sensibilità.

In maniera simile, è possibile impiegare una distribuzione a priori con un intervallo di valori per ciascun iperparametro, riflettendo in tal modo l'incertezza sulla distribuzione a priori corretta da scegliere, potendo pesando questo contributo sull'incertezza finale,.

Distribuzioni a iperpriori

Invece di impiegare un singolo valore per un dato iperparametro, è invece possibile scegliere per esso un'intera distribuzione di probabilità; questa è detta una distribuzione a iperpriori. In linea di principio è possibile iterare questa procedura chiamando i parametri di una distribuzione a iperpriori iper-iper-parametri, eccetera.

Bibliografia

• Bernardo, J.M., Smith, A.F.M. (2000) Bayesian Theory. Wiley. ISBN 0-471-49464-X

Voci correlate

• distribuzione a priori coniugata
• distribuzione a iperpriori
• distribuzione a priori