Una catena di Markov a tempo continuo è un processo stocastico a stati discreti osservato su una scala temporale continua. A differenza di una catena di Markov a tempo discreto, non evolve per passi successivi numerati, ma resta per un tempo casuale nello stato corrente e poi salta verso un altro stato. Il tempo del salto non è fissato a priori: è parte del modello.
Questa struttura è naturale quando gli eventi arrivano in istanti irregolari: guasti di componenti, riparazioni, arrivi in una coda, decadimenti, infezioni, cambi di stato in un impianto o transizioni operative di una rete. Il modello conserva la semplicità markoviana, ma sostituisce le probabilità di passo della catena di Markov a tempo discreto con tassi istantanei di transizione.
1. Proprietà di Markov in tempo continuo
Sia \{X_t\}_{t\ge0} una famiglia di variabili aleatorie con valori in uno spazio degli stati discreto S. La proprietà di Markov richiede che, noto lo stato presente, la distribuzione futura non dipenda dalla storia precedente. In forma omogenea:
La sigma-algebra \mathcal{F}_t rappresenta l’informazione accumulata fino al tempo t. L’uguaglianza dice che tutta l’informazione utile per prevedere il futuro è compressa nello stato corrente i. Questo non significa che il processo sia privo di memoria in senso fisico assoluto: significa che la variabile di stato è stata scelta in modo sufficientemente ricco da rendere superflua la storia passata.
2. Tempi di permanenza esponenziali
In una catena di Markov a tempo continuo omogenea, se il processo entra nello stato i, il tempo di permanenza T_i prima del salto successivo ha distribuzione esponenziale:
La grandezza \lambda_i è il tasso totale di uscita dallo stato i. La funzione di sopravvivenza è:
Questa formula è il motivo tecnico per cui la CTMC è markoviana: la distribuzione esponenziale è senza memoria. Se il processo è rimasto nello stato i per un certo tempo, la distribuzione del tempo residuo fino al salto non cambia. In applicazioni ingegneristiche, questa ipotesi è ragionevole quando il tasso di evento può essere considerato approssimativamente costante; è invece debole per componenti soggetti a invecchiamento, fatica cumulativa o manutenzione condizionata dallo storico.
3. Generatore infinitesimale
Il modello è descritto dal generatore infinitesimale Q=(q_{ij}). Per i\ne j, il coefficiente q_{ij} è il tasso istantaneo di salto da i a j:
Gli elementi fuori diagonale sono non negativi, mentre la diagonale è scelta in modo che ogni riga sommi a zero:
La diagonale non rappresenta una probabilità negativa. Rappresenta l’opposto del tasso totale di uscita. Se \lambda_i=-q_{ii}, allora uno stato con \lambda_i=0 è assorbente: una volta raggiunto, il processo non lo lascia più.
4. Catena di salto incorporata
Una CTMC può essere letta come combinazione di due oggetti: una sequenza di stati visitati e una sequenza di tempi di permanenza. Quando il processo lascia lo stato i, la probabilità che il prossimo stato sia j è:
La matrice R=(r_{ij}) definisce la catena di salto incorporata. Essa descrive dove va il processo quando salta, mentre \lambda_i descrive quanto rapidamente esce da i. Separare questi due aspetti è utile: due sistemi possono avere la stessa sequenza probabile di stati, ma tempi di permanenza molto diversi e quindi prestazioni operative opposte.
5. Probabilità di transizione
Le probabilità di transizione in un intervallo di durata t sono raccolte nella matrice di transizione P(t):
Nel caso finito omogeneo, la soluzione compatta è l’esponenziale di matrice:
La famiglia P(t) soddisfa la relazione di semigruppo, forma continua delle equazioni di Chapman-Kolmogorov:
Questa identità esprime la coerenza temporale del modello: passare da 0 a t+s equivale a passare prima da 0 a t e poi da t a t+s, sommando su tutti gli stati intermedi possibili.
6. Equazioni di Kolmogorov
Le equazioni di Kolmogorov collegano il generatore Q all’evoluzione temporale delle probabilità. Per una CTMC omogenea finita si hanno due forme:
La prima è spesso detta equazione all’indietro, la seconda equazione in avanti. Nel caso omogeneo e finito sono entrambe compatibili con P(t)=e^{Qt}. In modelli applicativi, l’equazione in avanti è usata per propagare una distribuzione iniziale \alpha:
Questa forma è particolarmente utile in affidabilità, code e modelli epidemici, perché permette di calcolare la probabilità che il sistema si trovi in ciascuno stato a un tempo assegnato.
7. Distribuzione stazionaria
Una distribuzione stazionaria \pi è una distribuzione che non cambia nel tempo sotto la dinamica della catena:
Per una CTMC omogenea finita, la condizione equivalente è:
La stazionarietà non va confusa con l’immobilità del sistema. Il processo può continuare a saltare tra stati, ma le frazioni medie di tempo trascorse nei diversi stati rimangono costanti. Quando la catena è irriducibile e positiva ricorrente, la distribuzione stazionaria descrive anche il comportamento di lungo periodo, collegandosi al concetto di ergodicità.
8. Esempi fondamentali
Il processo di Poisson è una CTMC sugli stati 0,1,2,\ldots in cui da n si passa solo a n+1 con tasso \lambda. È il modello base per conteggi di arrivi indipendenti: chiamate, richieste di servizio, particelle, guasti rari o eventi su una linea produttiva. Gli esercizi sul processo di Poisson mostrano come i tempi di arrivo e i conteggi siano due letture dello stesso modello.
Un processo di nascita e morte consente transizioni da n a n+1 e da n a n-1. È la base matematica di molte code, popolazioni, sistemi con guasti e riparazioni, magazzini e reti di servizio. In una coda semplice, lo stato può essere il numero di clienti presenti; i tassi di nascita rappresentano arrivi e i tassi di morte rappresentano completamenti del servizio.
In affidabilità, una CTMC può rappresentare stati di funzionamento, guasto parziale, guasto totale e riparazione. Il valore ingegneristico non è solo la probabilità di guasto finale, ma anche la distribuzione temporale degli stati intermedi: disponibilità, tempo medio al guasto, tempo medio di ripristino e probabilità di trovarsi in configurazione degradata.
9. Simulazione operativa
La simulazione di una CTMC omogenea segue una procedura molto diretta. Se il sistema è nello stato i, si calcola il tasso totale \lambda_i. Si estrae un tempo di permanenza esponenziale con parametro \lambda_i. Poi si sceglie lo stato successivo j con probabilità q_{ij}/\lambda_i. Il tempo corrente viene aggiornato e la procedura si ripete.
Questa costruzione è concettualmente semplice, ma richiede attenzione numerica quando i tassi sono molto diversi tra loro. Se alcuni stati hanno tassi enormemente maggiori di altri, il processo può essere rigido: molti salti rapidi avvengono prima che si osservino cambiamenti macroscopici. In questi casi, simulazioni naive possono essere lente o instabili, e conviene valutare aggregazioni di stati, metodi uniformizzati o solutori specializzati.
10. Errori comuni
Il primo errore è interpretare q_{ij} come una probabilità. Non lo è: è un tasso, quindi ha dimensione inversa rispetto al tempo. Una probabilità di transizione su un piccolo intervallo \Delta t è approssimativamente q_{ij}\Delta t, non q_{ij}.
Il secondo errore è dimenticare la diagonale del generatore. Scrivere solo i tassi fuori diagonale non basta: la diagonale deve essere l’opposto della somma dei tassi di uscita. Se le righe non sommano a zero, Q non è un generatore valido.
Il terzo errore è applicare il modello esponenziale a fenomeni con memoria forte. Se il rischio aumenta con l’età del componente, con la dose accumulata o con il numero di cicli, una CTMC elementare può essere troppo povera. La soluzione può essere ampliare lo stato, introducendo classi di età, livelli di usura o variabili operative che recuperano la proprietà markoviana.
Il quarto errore è confondere distribuzione stazionaria e transitorio. In molti sistemi reali interessano proprio i primi minuti, le prime ore o le fasi di avviamento. In questi casi la soluzione transitoria \alpha(t) è più informativa del limite di lungo periodo.
In sintesi, una catena di Markov a tempo continuo è il linguaggio naturale per sistemi discreti in cui il tempo degli eventi è casuale. Il generatore Q concentra tassi, direzioni dei salti e dinamica infinitesimale; da esso derivano probabilità transitorie, distribuzioni stazionarie, simulazioni e indicatori operativi di affidabilità o prestazione.