Processo markoviano: differenze tra le versioni
Contenuto cancellato Contenuto aggiunto
Nessun oggetto della modifica |
|||
Riga 1:
Un '''processo stocastico markoviano''' o '''processo di Markov''' è un [[processo stocastico]] nel quale la [[probabilità di transizione]] che determina il passaggio
dipende unicamente dallo stato di sistema immediatamente precedente ([[proprietà di Markov]])
e non dal ''come'' si è giunti a tale stato (in quest'ultima ipotesi si parla di ''processo non markoviano'').<br />
Riga 31:
: <math>P(X_{i+n}=x|X_i=y) =\ P(X_{i-1+n}=x|X_{i-1}=y) \ \ \ \ \ \forall i =\ 1,2,\ldots </math><br />
I sistemi reali che possono essere modellati con catene di Markov omogenee sono rari: è sufficiente pensare al sistema "tempo atmosferico" per capire come la probabilità di transizione da uno stato (per esempio "sole")
=== Matrice di transizione ===
{{vedi anche|Matrice di transizione}}
Una ''catena di Markov omogenea a stati finiti'', in cui l'insieme <math>S</math> degli stati del sistema è finito e ha <math>N</math> elementi, può essere rappresentata mediante una '''matrice di transizione''' <math>A \in \mathbb{R}^{N \times N}</math>
Gli elementi di <math>A</math> rappresentano le probabilità di transizione tra gli stati della catena: una catena che si trovi nello stato ''i'' ha probabilità <math>a_{ij}</math> di passare allo stato ''j'' in un passo immediatamente successivo. In particolare gli elementi sulla diagonale principale di <math>A</math>, <math>a_{ii}</math> indicano le probabilità di rimanere sullo stesso stato ''i''. Il vettore <math>\tilde{\pi}_0</math> definisce le probabilità che inizialmente la catena di Markov si trovi in ciascuno degli <math>N</math> stati. Una catena di Markov omogenea è univocamente definita dalla coppia <math>(A,\tilde{\pi}_0)</math>.
Le probabilità che
: <math> (\tilde{\pi}_n)^T=(\tilde{\pi}_0)^T\cdot A^n </math>
Riga 107:
*Il teorema di esistenza e unicità afferma che data una catena di Markov omogenea a stati discreti, con probabilità di transizione <math>P_{ij}</math> e spazio degli stati <math>S</math>, se la catena di Markov è irriducibile allora esiste un'unica distribuzione stazionaria <math>\pi</math> per la catena di Markov.
*Il teorema della convergenza afferma che data una catena di Markov omogenea a stati discreti, con probabilità di transizione <math>P_{ij}</math> e spazio degli stati <math>S</math>, se la catena di Markov è irriducibile
: <math> \forall \tilde{\pi}_0, \forall i,j \in S, \lim_{n \to \infty}\sum_{i \in S}(\tilde{\pi}_0)_i(P^{(n)})_{ij} = \pi_j </math>.
| |||