Modello probit

In statistica e in econometria, il modello probit è un modello di regressione nonlineare utilizzato quando la variabile dipendente è di tipo dicotomico. L'obiettivo del modello è di stabilire la probabilità con cui un'osservazione può generare uno o l'altro valore della variabile dipendente; può inoltre essere utilizzato per classificare le osservazioni, in base alla caratteristiche di queste, in due categorie.
Il modello è stato proposto per la prima volta da Chester Ittner Bliss nel 1934, ampliato l'anno successivo da Ronald Fisher che introdusse un metodo iterativo per la stima dei parametri tramite il metodo della massima verosimiglianza.

In rosso tratteggiato è rappresentato il modello probit.

Scelta della funzione

La funzione probit. L'inversa di questa funzione è utilizzata nel modello probit.

Un modello di regressione dove la variabile dipendente è dicotomica, ossia una variabile che può avere come unici valori 0 e 1 o riconducibili ad essi, calcola la probabilità che questa variabile acquisisca valore 1.

$\mathbb {E} \left[Y\mid X=x\right]=1\ Pr\left(Y=1\mid X=x\right)+0\ Pr\left(Y=0\mid X=x\right)=\ Pr\left(Y=1\mid X=x\right)$

Data questa limitazione dei valori di $Y$, la funzione da adottare per la regressione deve essere nonlineare con codominio $C=\left[0,1\right]$, una caratteristica che possiedono le funzioni di ripartizione. La necessità di non linearità deriva dal fatto che la funzione, per poter rimanere all'interno del codominio dato, deve avere derivata prima non costante, quindi dipendente dai regressori. Se così non fosse, la funzione sarebbe una retta e il suo codominio diventerebbe $\mathbb {R}$. Si supponga infatti il seguente modello lineare:

$\ Pr\left(Y=1\mid X=x\right)=\beta _{0}+\beta _{1}X$

dove la derivata

${\frac {\partial }{\partial X}}\ Pr\left(Y=1\mid X=x\right)=\beta _{1}$

è costante e uguale al parametro $\beta _{1}$. In base al segno di questo parametro, la funzione sarà crescente, se positivo, o decrescente se negativo, ma non è possibile avere come codominio $C$ perché questo richiederebbe una derivata dipendente dal valore di $X$. Se si considera invece il seguente modello:

$\ Pr\left(Y=1\mid X=x\right)=\ F\left(\alpha _{0}+\alpha _{1}X\right)$

dove la derivata

${\frac {\partial }{\partial X}}\ Pr\left(Y=1\mid X=x\right)=\ f\left(\alpha _{0}+\alpha _{1}X\right)\alpha _{1}$

è dipendente anche dalla variabile $X$, è possibile, al variare di $X$, far variare la pendenza della curva, limitando questa al codominio dato. Per il modello probit si utilizza come funzione $F$ la funzione di ripartizione della distribuzione normale standard, ossia l'inversa della funzione probit.

Definizione

Il modello di regressione probit per la popolazione è:

$\mathbb {E} \left[Y\mid \mathbf {X} \right]=\ Pr\left(Y=1\mid X_{1},\ldots ,X_{k}\right)=\Phi \left(\beta _{0}+\beta _{1}X_{1}+\ldots +\beta _{k}X_{k}\right)=\Phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)$

dove:

• $Pr$ indica la probabilità;
• $Y$ è la variabile dipendente dicotomica con una distribuzione bernoulliana $Y\sim {\mathcal {Be}}\left(\Phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\right)$;
• $\mathbf {X}$ è il vettore di variabili indipendenti o regressori $X_{1},\ldots ,X_{k}$;
• ${\boldsymbol {\beta }}$ è il vettore di parametri $\beta _{0},\ldots ,\beta _{k}$;
• $\Phi$ è la funzione di ripartizione della distribuzione normale standard.

Varianza

La varianza della variabile dipendente risulta dipendere dal vettore dei regressori $\mathbf {X}$. Infatti

$Var\left(Y\mid \mathbf {X} \right)=\mathbb {E} \left[Y^{2}\mid \mathbf {X} \right]-\mathbb {E} \left[Y\mid \mathbf {X} \right]^{2}=\Phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\cdot \left(1-\Phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\right)$.

Effetto marginale

L'effetto sulla variabile dipendente $Y$ dato da un cambiamento in un regressore $X_{j}$, chiamato effetto marginale, è calcolato come la derivata del valore atteso di $Y$ rispetto a $X_{j}$:

${\frac {\partial }{\partial X_{j}}}\mathbb {E} \left[Y\mid \mathbf {X} \right]=\Phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)=\phi \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\cdot \beta _{j}$

dove $\phi$ è la funzione di densità di probabilità della distribuzione normale standard e $\beta _{j}$ è il parametro che moltiplica il regressore $X_{j}$. Per il calcolo della derivata il regressore deve essere continuo.

Illustrazione del metodo

Per ogni osservazione campionaria $i=1,\ldots ,n$ si dispone di una determinazione $Y$ e di $k$ determinazioni $X_{1},\ldots ,X_{k}$. Il modello cerca una relazione non lineare, utilizzando la funzione di ripartizione della distribuzione normale standard, tra la variabile dipendente e $k$ variabili indipendenti, stimando il valore dei coefficienti $\beta _{0},\ldots ,\beta _{k}$ tramite il metodo della massima verosimiglianza.

Stima dei parametri

Il vettore di parametri ${\boldsymbol {\beta }}$ è di norma stimato con il metodo della massima verosimiglianza, con il quale si ottengono stimatori efficienti, consistenti e distribuiti normalmente nel caso in cui il campione statistico sia abbastanza grande. Queste proprietà permettono di calcolare il test t su un parametro, il test F nel caso di restrizioni multiple e gli intervalli di confidenza.

Funzione di verosimiglianza

Nel modello probit la variabile dipendente $Y$ è dicotomica e con distribuzione $Y\sim {\mathcal {Be}}\left(p\right)$. Si consideri un campione di $n$ osservazioni dove ciascuna di esse è identificata con $i=1,\ldots ,n$. Per la definizione del modello, la probabilità che questa variabile sia 1 per una data osservazione $i$ è

$\ Pr\left(Y_{i}=1\mid X_{1i},\ldots ,X_{ki}\right)=\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)=p_{i}$,

mentre la probabilità che sia 0 è

$\ Pr\left(Y_{i}=0\mid X_{1i},\ldots ,X_{ki}\right)=1-\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)=1-p_{i}$.

La distribuzione di probabilità condizionata per ogni elemento $i$ può essere scritta come

$\ Pr\left(Y_{i}=y_{i}\mid X_{1i},\ldots ,X_{ki}\right)=p_{i}^{y_{i}}\left(1-p_{i}\right)^{1-y_{i}}$.

Si considera ora l'intero campione e sia assume che per ogni osservazione $i$, $\left(X_{1i},X_{2i},\ldots ,X_{ki},Y_{i}\right)$ siano indipendenti e identicamente distribuite. Risulta quindi che la distribuzione di probabilità congiunta di $Y_{1},\ldots ,Y_{n}$ è il prodotto delle probabilità condizionate di ogni osservazione:

$\ Pr\left(Y_{1}=y_{1},\ldots ,Y_{n}=y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=$

$=\Pr \left(Y_{1}=y_{1}\mid X_{11},\ldots ,X_{k1}\right)\cdot \ldots \cdot \ Pr\left(Y_{n}=y_{n}\mid X_{1n},\ldots ,X_{kn}\right)=$

$=p_{1}^{y_{1}}\left(1-p_{1}\right)^{1-y_{1}}\cdot \ldots \cdot p_{n}^{y_{n}}\left(1-p_{n}\right)^{1-y_{n}}=\prod _{i=1}^{n}p_{i}^{y_{i}}\left(1-p_{i}\right)^{1-y_{i}}$.

Si riprende ora la definizione del modello probit e la si sostituisce al posto di $p_{i}$, ottenendo quindi la funzione di verosimiglianza

${\mathcal {L}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=\prod _{i=1}^{n}\left[\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]^{Y_{i}}\left[1-\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]^{1-Y_{i}}$.

Metodo della massima verosimiglianza

Per calcolare gli stimatori ${\hat {\beta }}_{0},{\hat {\beta }}_{1},\ldots ,{\hat {\beta }}_{k}$ dei parametri $\beta _{0},\beta _{1},\ldots ,\beta _{k}$ risulta conveniente calcolare la funzione di log-verosimiglianza poiché in questo modo si riesce a eliminare la produttoria. Si applica quindi il logaritmo alla funzione di verosimiglianza:

${\mathcal {l}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=\ln {\mathcal {L}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=$

$=\sum _{i=1}^{n}Y_{i}\ln \left[\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]+\sum _{i=1}^{n}\left(1-Y_{i}\right)\ln \left[1-\Phi \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]$.

Gli stimatori calcolati con il metodo della massima verosimiglianza massimizzano la funzione precedente risolvendo il seguente problema:

$\left\{{\hat {\beta }}_{0},{\hat {\beta }}_{1},\ldots ,{\hat {\beta }}_{k}\right\}_{MV}=\arg \max _{\beta _{0},\ldots ,\beta _{k}}{\mathcal {l}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)$.

Per semplificare la scrittura consideriamo ${\boldsymbol {\beta }}$ un vettore dei parametri $\beta _{0},\beta _{1},\ldots ,\beta _{k}$, $\phi$ la derivata di $\Phi$, ossia la funzione di densità di probabilità della distribuzione normale standard, e $n$ il numero di osservazioni nel campione. Le condizioni per la massimizzazione sono due: quella di primo ordine dove la derivata prima rispetto ai parametri deve essere posta uguale a zero per trovare i punti estremanti, la seconda invece pone la derivata seconda, sempre rispetto ai parametri, minore di zero per determinare le concavità della funzione.

• ${\frac {\partial }{\partial {\boldsymbol {\beta }}}}{\mathcal {l}}_{probit}\left({\boldsymbol {\beta }};\mathbf {y} \right)=0\Longleftrightarrow \sum _{i=1}^{n}\left\{{\frac {y_{i}-\Phi \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)}{\Phi \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\left[1-\Phi \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\right]}}\cdot \phi \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\right\}=0$
• ${\frac {\partial ^{2}}{\partial {\boldsymbol {\beta }}\partial {\boldsymbol {\beta '}}}}{\mathcal {l}}_{probit}\left({\boldsymbol {\beta }};\mathbf {y} \right)<0$

Solitamente le soluzioni di queste condizioni non sono semplici da determinare oppure non possono essere trovate affatto, ma per ovviare a questo problema si possono utilizzare dei programmi statistici per computer che, attraverso alcuni algoritmi, trovano delle loro approssimazioni.

Bibliografia

• (EN) William H. Greene, Chapter 21, in Econometric Analysis, 4ª ed., Prentice-Hall, 1993 [1990], ISBN 0-13-013297-7.
• (EN) James H. Stock e Mark W. Watson, Regression with a Binary Dependent Variable, in Introduction to Econometrics, 3ª ed., Pearson, 2015, ISBN 978-1-292-07131-2.

Voci correlate

• Modello logit

Altri progetti

Altri progetti

• Wikimedia Commons

• Wikimedia Commons contiene immagini o altri file su modello probit