Criterio di informazione Bayesiano
Per la statistica, il Criterio di informazione Bayesiano (Bayesian information criterion, BIC) o Criterio di Schwarz (indicato anche come SBC, SBIC) è un criterio per la selezione di un modello tra una classe di modelli parametrici con un diverso numero di parametri. La scelta di un modello per ottimizzare il BIC è una forma di regolarizzazione.
Stimando i parametri del modello mediante il metodo della massima verosimiglianza, è possibile aumentare la verosimiglianza attraverso l'aggiunta di parametri, la qual cosa può provocare overfitting. Il BIC risolve questo problema introducendo un termine di penalizzazione per il numero di parametri nel modello.
Il BIC è stato sviluppato da Gideon E. Schwarz, il quale ha fornito argomentazioni bayesiane per la sua adozione.[1] Risulta strettamente correlato al test di verifica delle informazioni di Akaike (AIC). In BIC, la penalizzazione per parametri aggiuntivi è più forte di quella dell'AIC.
Definizione modifica
Nel caso generale è definito come
BIC = -2ln(L) + k ln(n)
dove k è il numero di parametri nel modello statistico, n il numero di osservazioni e L è il valore massimizzato della funzione di verosomiglianza del modello stimato.
Applicazioni modifica
Il BIC è stato ampiamente utilizzato per l'identificazione del modello di serie storiche e regressione lineare. Può, tuttavia, essere ampiamente applicato a qualsiasi insieme di modelli basati sulla massima verosimiglianza. Tuttavia, in molte applicazioni (per esempio, la selezione di un corpo nero o una legge di potenza dello spettro per una sorgente astronomica), il BIC si riduce semplicemente alla scelta della massima verosimiglianza, perché il numero di parametri è uguale per i modelli di interesse.
Note modifica
- ^ Gideon E. Schwarz, Estimating the dimension of a model, in Annals of Statistics, vol. 6, n. 2, 1978, pp. 461–464, DOI:10.1214/aos/1176344136, MR 468014.
Bibliografia modifica
- Liddle, A.R., "Information criteria for astrophysical model selection", http://xxx.adelaide.edu.au/PS_cache/astro-ph/pdf/0701/0701113v2.pdf[collegamento interrotto]
- McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific.
- Priestley, M. B., 1981. Spectral Analysis and Time Series: Volume 1: Univariate Series. Academic Press.
Voci correlate modifica
Collegamenti esterni modifica
- Information Criteria and Model Selection (PDF), su personal.psu.edu.
