Catena di Markov a tempo discreto

Una catena di Markov a tempo discreto è un processo stocastico $\{X_n\}_{n\ge 0}$ osservato in istanti discreti, con valori in uno spazio di stati finito o numerabile, in cui l’evoluzione futura dipende solo dallo stato presente e non dall’intera storia passata.

La proprietà di Markov si scrive:

\mathbb{P}(X_{n+1}=j\mid X_n=i,X_{n-1}=i_{n-1},\ldots,X_0=i_0) =\mathbb{P}(X_{n+1}=j\mid X_n=i)

In altre parole, lo stato corrente è una sintesi sufficiente del passato per prevedere probabilisticamente il passo successivo. La catena non è deterministica: da uno stesso stato possono partire più transizioni possibili, ciascuna con una probabilità assegnata.

Matrice di transizione

Nel caso omogeneo nel tempo, le probabilità di passaggio non dipendono dall’indice $n$ e sono raccolte nella matrice di transizione $P$ :

p_{ij}=\mathbb{P}(X_{n+1}=j\mid X_n=i)

Ogni riga di $P$ è una distribuzione di probabilità:

p_{ij}\ge 0,\qquad \sum_j p_{ij}=1

Se la distribuzione iniziale è il vettore riga $\boldsymbol{\pi}_0$ , la distribuzione dopo un passo è:

\boldsymbol{\pi}_1=\boldsymbol{\pi}_0P

Dopo $n$ passi:

\boldsymbol{\pi}_n=\boldsymbol{\pi}_0P^n

La potenza $P^n$ contiene le probabilità di transizione in $n$ passi. L’elemento $(i,j)$ di $P^n$ è:

p_{ij}^{(n)}=\mathbb{P}(X_n=j\mid X_0=i)

Questa struttura rende le catene di Markov molto pratiche: molti problemi dinamici diventano problemi di algebra lineare su matrici stocastiche.

Stati, classi e ricorrenza

Gli stati di una catena non hanno tutti lo stesso ruolo. Uno stato $j$ è raggiungibile da $i$ se esiste un numero di passi $n$ tale che $p_{ij}^{(n)}>0$ . Due stati comunicano se ciascuno è raggiungibile dall’altro. Le classi di comunicazione raggruppano stati che, dal punto di vista della dinamica, appartengono alla stessa regione del grafo delle transizioni.

Una catena è irriducibile quando tutti gli stati comunicano tra loro. In questo caso non esistono sottosistemi probabilistici isolati: partendo da qualunque stato, ogni altro stato è raggiungibile con probabilità positiva in un numero opportuno di passi.

Altri concetti importanti sono:

stato assorbente, se una volta raggiunto non viene più lasciato;
stato transiente, se può essere visitato solo un numero finito di volte con probabilità positiva;
stato ricorrente, se la catena ritorna allo stato con probabilità $1$ ;
periodo, legato ai possibili tempi di ritorno allo stesso stato;
classe chiusa, se non esistono transizioni verso stati esterni alla classe.

In affidabilità, manutenzione e modellazione del degrado, gli stati assorbenti rappresentano spesso guasto, fermo impianto o completamento di una procedura.

Distribuzione stazionaria

Una distribuzione $\boldsymbol{\pi}$ è stazionaria se resta invariata dopo una transizione:

\boldsymbol{\pi}=\boldsymbol{\pi}P,\qquad \sum_i \pi_i=1

La stazionarietà non significa che il singolo sistema rimane fermo nello stesso stato, ma che la distribuzione probabilistica complessiva non cambia nel tempo. In una catena regolare o ergodica, la distribuzione a lungo termine tende spesso alla distribuzione stazionaria indipendentemente dallo stato iniziale:

\boldsymbol{\pi}_0P^n \rightarrow \boldsymbol{\pi}

Le condizioni precise dipendono da irriducibilità, aperiodicità e ricorrenza positiva. Ignorare queste ipotesi è un errore comune: non ogni matrice stocastica ammette un comportamento limite semplice, e la presenza di stati assorbenti o classi chiuse multiple può rendere il limite dipendente dalla condizione iniziale.

Interpretazione ingegneristica

In ingegneria le catene discrete modellano sistemi che cambiano stato per cicli, lotti, campioni o iterazioni successive:

degrado di componenti con stati “nuovo”, “usurato”, “critico”, “guasto”;
code osservate a intervalli regolari, collegate alla teoria delle code;
affidabilità di reti e sistemi ridondanti;
algoritmi randomizzati e metodi Monte Carlo;
controlli di qualità sequenziali;
modelli di traffico, mobilità e disponibilità di risorse.

Il vantaggio è la semplicità: la dinamica è descritta da una matrice. Il limite è che la proprietà di Markov può essere troppo restrittiva. Se il futuro dipende da età, memoria accumulata, carico storico o tempo trascorso nello stato, occorre arricchire lo spazio degli stati oppure usare un modello diverso.

Vedi anche: Processo stocastico, Matrice di transizione, Stazionarietà, Teoria delle code.