La matrice di transizione di una catena di Markov a tempo discreto è la matrice P=(p_{ij}) che raccoglie le probabilità di passaggio da uno stato all’altro:
Con la convenzione più comune, ogni elemento è non negativo e ogni riga somma a 1:
La riga i descrive la distribuzione dello stato successivo quando il sistema si trova in i. Le potenze P^n danno le probabilità di transizione a n passi: l’elemento (i,j) di P^n è la probabilità di trovarsi in j dopo n passi partendo da i.
Questa proprietà è una forma matriciale dell’equazione di Chapman-Kolmogorov:
Se la distribuzione iniziale è rappresentata da un vettore riga \mu_0, la distribuzione dopo n passi è:
Alcuni testi usano vettori colonna e matrici colonna-stocastiche; in quel caso le formule sono trasposte. La convenzione va sempre controllata prima di implementare calcoli o confrontare risultati.
Una distribuzione stazionaria \pi soddisfa:
Se la catena è irriducibile e aperiodica su uno spazio finito, la distribuzione limite converge alla distribuzione stazionaria indipendentemente dallo stato iniziale. Se invece esistono stati assorbenti, classi chiuse o periodicità, il comportamento di lungo periodo richiede un’analisi più attenta.
Le matrici di transizione compaiono in affidabilità, code, modelli epidemiologici, ranking, manutenzione predittiva, genetica, finanza e simulazione di sistemi discreti. In un modello di degrado, per esempio, gli stati possono rappresentare livelli di usura e p_{ij} la probabilità di passare a un livello peggiore nel prossimo intervallo di tempo.
Per processi di Markov a tempo continuo non si usa direttamente una matrice di transizione per passo unitario, ma un generatore infinitesimale Q. La matrice di transizione a tempo t si ottiene, sotto opportune ipotesi, con:
Vedi anche: tempo di primo passaggio, processo stocastico.