Generatore infinitesimale — ingegnerismo.it

Il generatore infinitesimale di una catena di Markov a tempo continuo è la matrice $Q=(q_{ij})$ che raccoglie i tassi istantanei di transizione tra stati. È l’analogo continuo, ma non identico, della matrice di transizione usata nelle catene a tempo discreto.

Definizione

Sia $\{X_t\}_{t\ge 0}$ una catena di Markov omogenea a tempo continuo con spazio degli stati finito o numerabile. Il generatore $Q$ descrive che cosa può accadere in un intervallo di tempo infinitesimo. Per $i\ne j$ , il coefficiente $q_{ij}$ è il tasso istantaneo di salto dallo stato $i$ allo stato $j$ :

q_{ij}\ge 0\qquad (i\ne j).

La diagonale non contiene probabilità di permanenza, ma il tasso totale di uscita dallo stato con segno negativo:

q_{ii}=-\sum_{j\ne i}q_{ij}.

Di conseguenza ogni riga di $Q$ somma a zero:

\sum_j q_{ij}=0.

Questa condizione garantisce che la massa probabilistica totale resti pari a uno durante l’evoluzione.

Lettura probabilistica

Per piccoli intervalli $\Delta t$ , con $\Delta t$ positivo e molto piccolo, le transizioni sono approssimate da:

\Pr\{X_{t+\Delta t}=j\mid X_t=i\} =q_{ij}\Delta t+o(\Delta t), \qquad i\ne j.

La probabilità di restare nello stato $i$ è invece:

\Pr\{X_{t+\Delta t}=i\mid X_t=i\} =1+q_{ii}\Delta t+o(\Delta t).

Poiché $q_{ii}$ è negativo, il termine $-q_{ii}$ è il tasso totale di uscita dallo stato $i$ . Spesso si scrive:

\lambda_i=-q_{ii}=\sum_{j\ne i}q_{ij}.

Il tempo di permanenza nello stato $i$ è esponenziale con parametro $\lambda_i$ quando la catena è omogenea e lo stato corrente è $i$ . Condizionato al fatto che avvenga un salto, la probabilità di andare verso $j$ è:

\Pr\{i\to j\mid \text{salto da }i\} =\dfrac{q_{ij}}{\lambda_i}.

Evoluzione a tempo finito

Le probabilità di transizione a tempo finito formano la matrice:

P(t)=\left(P_{ij}(t)\right), \qquad P_{ij}(t)=\Pr\{X_t=j\mid X_0=i\}.

Nel caso finito e omogeneo:

P(t)=e^{Qt}.

Questa formula usa la matrice esponenziale e produce matrici stocastiche per $t\ge 0$ . La famiglia $P(t)$ soddisfa la proprietà di semigruppo:

P(t+s)=P(t)P(s), \qquad P(0)=I.

La versione a intervalli finiti di questa composizione è espressa dalle equazioni di Chapman-Kolmogorov. Passando al limite infinitesimale si ottengono le equazioni di Kolmogorov. Con la convenzione dei vettori riga:

\dfrac{dP(t)}{dt}=P(t)Q, \qquad \dfrac{d}{dt}p(t)=p(t)Q.

Qui $p(t)$ è la distribuzione della catena al tempo $t$ .

Distribuzione stazionaria

Una distribuzione stazionaria $\pi$ è una distribuzione che resta invariata nel tempo. Con la convenzione dei vettori riga soddisfa:

\pi Q=0, \qquad \sum_i \pi_i=1.

Questa relazione è un sistema di bilanci di flusso: in stazionarietà, per ogni stato, il flusso medio entrante compensa quello uscente. Se la catena è irriducibile e positiva ricorrente, la distribuzione stazionaria esiste ed è unica; se il processo può crescere indefinitamente, come in una coda instabile, una soluzione normalizzabile può non esistere.

Esempio: nascita e morte

In un processo di nascita e morte, dallo stato $i$ si può passare solo a $i+1$ con tasso $\lambda_i$ oppure a $i-1$ con tasso $\mu_i$ . Il generatore ha struttura tridiagonale:

q_{i,i+1}=\lambda_i, \qquad q_{i,i-1}=\mu_i, \qquad q_{ii}=-(\lambda_i+\mu_i).

Questa struttura compare in code, affidabilità riparabile, popolazioni, sistemi con arrivi e partenze, modelli epidemici semplificati e reti di servizio. Il generatore è utile perché concentra in un solo oggetto sia i salti ammessi sia la loro scala temporale.

Errori comuni

Il generatore non è una matrice di probabilità: le righe sommano a zero, non a uno, e i termini diagonali sono in genere negativi. Non va confuso con $P(t)$ , che invece è una matrice stocastica per ogni tempo fissato. Un altro errore è dimenticare la convenzione riga/colonna: se si usano vettori colonna, le equazioni vengono trasposte e il generatore agisce dall’altro lato.

Negli esercizi conviene controllare sempre tre cose: segni della diagonale, somma nulla delle righe e unità di misura dei tassi. Per approfondire il calcolo operativo, vedi anche il formulario di processi stocastici e affidabilità e gli esercizi sul processo di Poisson.

Vedi anche: catena di Markov, catena di Markov a tempo continuo, equazioni di Kolmogorov e matrice esponenziale.