Disuguaglianza di Markov

In teoria della probabilità e statistica, la disuguaglianza di Markov afferma che, per una variabile casuale $X$ non negativa il cui valore atteso esiste:

P\left(X\geq \alpha \right)\leq {\frac {\mathbb {E} [X]}{\alpha }}

Questa disuguaglianza permette di stabilire un limite superiore al valore di probabilità dalla sola conoscenza del valore atteso $\mathbb {E} [x],$ a condizione che la variabile casuale sia definita non negativa.

La disuguaglianza di Markov è anche utilizzata nella dimostrazione della disuguaglianza di Čebyšëv.

Dimostrazione

Si definiscano le variabili casuali $X$ ed $I$ come segue:

X:\Omega \rightarrow \mathbb {R} _{0}^{+},

con $\Omega$ spazio campionario e

\ I=\left\{{\begin{matrix}1&\iff &X\geq \alpha \\0&\iff &X<\alpha \end{matrix}}\right.

con $\alpha \in \mathbb {R} ^{+}.$ Chiaramente per ogni $\alpha$ non nullo, vale la seguente disuguaglianza larga ${\textstyle \ 0\leq I\leq {\frac {X}{\alpha }}.}$

Supponiamo inoltre che per la variabile aleatoria $X$ esiste $\mathbb {E} [X],$ allora:

P\left(X\geq \alpha \right)=\mathbb {E} [I].

Il valore atteso è definito come somma di tutti i valori che la variabile aleatoria può assumere moltiplicati per la probabilità che tale variabile assuma effettivamente tali valori: nel nostro caso

\mathbb {E} [I]=0\cdot P(I=0)+1\cdot P(I=1)=P(I=1).

Ma ancora, la probabilità che $I$ sia uguale a 1 è proprio la probabilità che $X$ sia maggiore o uguale ad $\alpha$

\mathbb {E} [I]\leq \mathbb {E} \left[{\frac {X}{\alpha }}\right].

Il valore atteso mantiene la disuguaglianza degli argomenti poiché si tratta di una funzione non decrescente, in vista del fatto che gli argomenti sono variabili non negative. Basti pensare alla definizione di valore atteso, nel caso discreto e quello continuo, la quale genera serie a termini positivi in un caso, e integrali di funzioni positive nell'altro.

\mathbb {E} \left[{\frac {X}{\alpha }}\right]={\frac {\mathbb {E} [X]}{\alpha }}

Per la linearità del valore atteso. Quindi si conclude che

P\left(X\geq \alpha \right)\leq {\frac {\mathbb {E} [X]}{\alpha }}.

Disuguaglianza di Čebyšëv

Partendo dall'appena dimostrata disuguaglianza possiamo ottenere, come corollario, il seguente enunciato:

$P(|X-\mathbb {E} [X]|\geq \gamma )\leq {\frac {Var(X)}{\gamma ^{2}}}$

con parametro $\gamma$ positivo. Per farlo definiamo una variabile aleatoria $X:\Omega \rightarrow \mathbb {R}$ e associamo ad essa la variabile aleatoria $Y=(X-\mathbb {E} [X])^{2}.$

Così definita $Y$ è una variabile aleatoria non negativa, pertanto applichiamo ad essa la disuguaglianza di Markov, ottenendo

P\left(Y\geq \gamma ^{2}\right)\leq {\frac {\mathbb {E} [Y]}{\gamma ^{2}}}\iff P\left((X-\mathbb {E} [X])^{2}\geq \gamma ^{2}\right)\leq {\frac {\mathbb {E} [(X-\mathbb {E} [X])^{2}]}{\gamma ^{2}}}

a destra otteniamo la definizione di varianza ${\textstyle Var(X)=\mathbb {E} [(X-\mathbb {E} [X])^{2}],}$

e sapendo che in generale $\forall x,\mu ,\alpha$ vale quanto segue $(x-\mu )^{2}\geq \alpha ^{2}\iff |x-\mu |\geq |\alpha |$

otteniamo quanto si voleva dimostrare, cioè

P(|X-\mathbb {E} [X]|\geq \gamma )\leq {\frac {Var(X)}{\gamma ^{2}}},

che può anche essere riscritta ponendo il parametro $t={\frac {\gamma }{\sqrt {Var(X)}}}$

P(|X-\mathbb {E} [X]|\geq t{\sqrt {Var(X)}})\leq {\frac {1}{t^{2}}},

possiamo inoltre semplificare la scrittura usando, anziché la varianza, lo strumento statistico della deviazione standard, definito proprio come sua radice.

P(|X-\mathbb {E} [X]|\geq t\sigma )\leq {\frac {1}{t^{2}}}.

Legge debole dei grandi numeri

La disuguaglianza di Čebyšëv, viene inoltre utilizzata nella famosa legge dei grandi numeri, di cui qui verrà dimostrata il suo enunciato cosiddetto "debole". L'enunciato è il seguente:

Consideriamo una popolazione di $N$ elementi di variabili aleatorie indipendenti tutte di valore atteso $\mu$ e varianza $\sigma ^{2}$ .

\{X_{n}\}_{n\in \mathbb {N} ,\ n\leq N}\subset \mathbb {R}

\mathbb {E} [X_{n}]=\mu ,\ \forall n

Var(X_{n})=\sigma ^{2},\ \forall n.

E definendo lo stimatore del valor medio ${\bar {X}}_{N}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}$ si ha

\forall \epsilon \in \mathbb {R} ^{+}\lim _{N\rightarrow \infty }P(|{\bar {X}}_{N}-\mu |<\epsilon )=1.

Il che vuol dire che aumentando la grandezza della popolazione in nostro possesso, lo stimatore del valor medio va sempre di più a coincidere con il valore atteso.

Dimostrazione

Applichiamo la disuguaglianza di Čebyšëv allo stimatore del valor medio:

P(|{\bar {X}}_{N}-\mathbb {E} [{\bar {X}}_{N}]|\geq \epsilon )\leq {\frac {Var({\bar {X}}_{N})}{\epsilon ^{2}}}

per ogni $\epsilon \in \mathbb {R} ^{+}.$ Per le proprietà di linearità del valore atteso abbiamo che in generale la media aritmetica di variabili aleatorie di diverso valore atteso corrisponde a uno stimatore di valore atteso pari alla media aritmetica dei singoli valori attesi. Nel nostro caso tutte le $X_{n}$ hanno lo stesso valore atteso $\mu$ , pertanto

\mathbb {E} [{\bar {X}}_{N}]={\frac {1}{N}}\sum _{n=1}^{N}\mathbb {E} [X_{n}]=\mu .

Poiché le $X_{n}$ sono indipendenti tra di loro vale quanto segue $\forall a,b\in \mathbb {R} ,\forall i,j\in \mathbb {N}$ tale che $i\leq j\leq N$

Var(aX_{i}+bX_{j})=a^{2}Var(X_{i})+b^{2}Var(X_{j}).

Nel nostro caso quindi abbiamo che

Var({\bar {X}}_{N})={\frac {1}{N^{2}}}\sum _{n=1}^{N}Var(X_{n})={\frac {\sigma ^{2}}{N}}.

Quindi riscriviamo la nostra relazione alla luce di quanto detto

P(|{\bar {X}}_{N}-\mu |\geq \epsilon )\leq {\frac {\sigma ^{2}}{N\epsilon ^{2}}}\rightarrow 1-P(|{\bar {X}}_{N}-\mu |\geq \epsilon )\geq 1-{\frac {\sigma ^{2}}{N\epsilon ^{2}}}.

Il primo termine può essere riscritto mediante il complementare dell'evento di cui stiamo calcolando la probabilità

1-P(|{\bar {X}}_{N}-\mu |\geq \epsilon )=P(|{\bar {X}}_{N}-\mu |<\epsilon ).

Ma comunque la probabilità di qualunque evento è al più 1:

1\geq P(|{\bar {X}}_{N}-\mu |<\epsilon )\geq 1-{\frac {\sigma ^{2}}{N\epsilon ^{2}}}.

Pertanto se portiamo al limite tale espressione otteniamo quanto stavamo cercando per il teorema del confronto:

\lim _{N\rightarrow \infty }P(|{\bar {X}}_{N}-\mu |<\epsilon )=1.

Il che vuol dire che è certo l'evento preso in considerazione, ovvero che definitivamente la distanza tra ${\bar {X}}_{N}$ e $\mu$ è maggiorata da $\epsilon$ arbitrario positivo