Le equazioni di Chapman-Kolmogorov descrivono come si compongono le probabilità di transizione di un processo markoviano quando l’evoluzione viene spezzata in due intervalli successivi. Formalizzano una idea semplice: per andare da uno stato iniziale i a uno stato finale j, si può passare attraverso uno stato intermedio k e poi sommare su tutti gli stati intermedi possibili.
Sono una conseguenza diretta della proprietà di Markov. Se il futuro dipende dal presente ma non da tutta la storia passata, allora conoscere lo stato intermedio basta per separare il percorso in due parti. Per questo le equazioni sono centrali nelle catene di Markov, nei processi a tempo continuo, nella teoria delle code, nell’affidabilità, nella simulazione stocastica e nei modelli dinamici con incertezza.
Idea probabilistica
Sia \{X_t\} un processo stocastico markoviano. Se si vuole calcolare la probabilità di trovarsi nello stato j al tempo finale, partendo da i, si introduce un tempo intermedio. La probabilità totale si ottiene sommando i contributi:
La somma su k non è un dettaglio tecnico: è il modo con cui si raccolgono tutti i percorsi compatibili con lo stato finale. Ogni termine contiene una prima transizione da i a k e una seconda transizione da k a j.
Se il processo è omogeneo nel tempo, la probabilità della seconda parte dipende solo dalla durata s, non dall’istante assoluto t. In quel caso la relazione assume una forma di semigruppo.
Tempo discreto
Per una catena di Markov a tempo discreto omogenea, indichiamo con:
la probabilità di transizione in n passi. Le equazioni di Chapman-Kolmogorov diventano:
La formula dice che, per andare da i a j in n+m passi, il processo può trovarsi nello stato k dopo n passi e poi raggiungere j nei successivi m passi. Poiché gli stati intermedi sono incompatibili tra loro, le probabilità dei diversi casi si sommano.
In forma matriciale, con la convenzione dei vettori riga e matrici stocastiche per riga:
Se la catena è omogenea e la matrice di transizione a un passo è P, allora:
Questa identità è il motivo per cui l’algebra lineare è così efficace nelle catene finite: potenze della matrice di transizione descrivono l’evoluzione a più passi, distribuzioni transitorie, tempi lunghi e, sotto ipotesi adeguate, convergenza verso una distribuzione stazionaria.
Catene non omogenee
Se le probabilità cambiano nel tempo, non esiste una sola matrice P da elevare a potenza. Una catena non omogenea ha matrici diverse:
e la transizione da 0 a n passi è un prodotto ordinato:
In questo caso Chapman-Kolmogorov resta valida, ma nella forma:
Il punto operativo è importante: scrivere automaticamente P^n è corretto solo quando la catena è omogenea. Nei modelli stagionali, nei sistemi sottoposti a manutenzione programmata o nei processi controllati da una politica che cambia nel tempo, le matrici devono essere composte nell’ordine corretto.
Tempo continuo
Per una catena di Markov a tempo continuo omogenea, si definisce:
Le equazioni di Chapman-Kolmogorov sono:
In forma matriciale:
Questa è una proprietà di semigruppo: evolvere per t e poi per s equivale a evolvere una sola volta per t+s. Inoltre:
dove I è la matrice identità. In presenza di regolarità sufficiente, questa famiglia di matrici è generata da un generatore infinitesimale Q e si scrive:
La formula non va letta come una definizione sempre automatica: richiede ipotesi sul processo e sul generatore. Nei casi finiti standard, però, è il ponte tra probabilità, algebra lineare e sistemi di equazioni differenziali.
Spazi di stato continui
Quando lo spazio degli stati è continuo, la somma sugli stati intermedi viene sostituita da un integrale. Se p(t,x,y) è una densità di transizione, una forma tipica è:
La struttura concettuale è la stessa: per andare da x a z si passa per un valore intermedio y, e si integrano tutti i contributi possibili. Questa forma compare nei processi di diffusione, nel moto browniano e in modelli continui, ma richiede più attenzione tecnica perché entrano in gioco densità, misure, condizioni di regolarità e domini.
Collegamento con le equazioni di Kolmogorov
Le equazioni di Chapman-Kolmogorov sono relazioni a intervalli finiti. Passando al limite per intervalli infinitesimi, nelle catene a tempo continuo si ottengono le equazioni di Kolmogorov. Con un generatore Q, le forme matriciali più comuni sono:
per l’equazione forward, oppure:
per l’equazione backward, a seconda della convenzione e del lato su cui agisce il generatore. Chapman-Kolmogorov dice come comporre probabilità finite; Kolmogorov descrive la variazione istantanea di quella composizione.
Lettura operativa
| Contesto | Forma | Oggetto composto |
|---|---|---|
| DTMC omogenea | \displaystyle P^{(n+m)}=P^{(n)}P^{(m)} | passi discreti |
| DTMC non omogenea | \displaystyle P_{r,t}=P_{r,s}P_{s,t} | matrici ordinate nel tempo |
| CTMC omogenea | \displaystyle P(t+s)=P(t)P(s) | intervalli temporali |
| Stato continuo | \displaystyle p(t+s,x,z)=\int p(t,x,y)p(s,y,z)\,dy | densità di transizione |
In un esercizio, la domanda essenziale è sempre la stessa: quale informazione è disponibile allo stato intermedio? Se lo stato intermedio rende indipendente il futuro dalla storia precedente, si può applicare la decomposizione markoviana. Se invece il processo conserva memoria non inclusa nello stato, la formula non è applicabile senza arricchire lo spazio degli stati.
Errori comuni
Il primo errore è dimenticare la somma, o l’integrale, sugli stati intermedi. Scegliere un solo stato k significa calcolare il contributo di un percorso parziale, non la probabilità totale.
Il secondo errore è moltiplicare le matrici nell’ordine sbagliato. Con vettori riga si usa tipicamente \pi_{n+1}=\pi_nP; con vettori colonna si usa spesso \pi_{n+1}=P^\mathsf T\pi_n oppure una convenzione trasposta. La convenzione scelta deve essere dichiarata e mantenuta.
Il terzo errore è applicare P^n a catene non omogenee. Se la matrice cambia nel tempo, servono prodotti ordinati, non potenze di una matrice unica.
Il quarto errore è confondere Chapman-Kolmogorov con le equazioni differenziali forward e backward di Kolmogorov. Le prime compongono transizioni finite; le seconde descrivono l’evoluzione infinitesimale.
Vedi anche: catena di Markov, catena di Markov a tempo discreto, catena di Markov a tempo continuo, matrice di transizione, equazioni di Kolmogorov, generatore infinitesimale, distribuzione stazionaria, processo stocastico, catene di Markov a tempo discreto: esercizi svolti e formulario di processi stocastici e affidabilità.