Una catena di Markov è un modello stocastico che descrive una sequenza di possibili eventi in cui la probabilità di ogni evento dipende esclusivamente dallo stato raggiunto nell’evento precedente.
Proprietà di Markov
La caratteristica distintiva è l’assenza di memoria: P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \dots, X_0 = i_0) = P(X_{n+1} = j \mid X_n = i) In parole povere, per prevedere il futuro del processo, conoscere lo stato attuale fornisce tutta l’informazione necessaria; sapere “come” si è arrivati in quello stato è irrilevante.
Elementi Costitutivi
- Insieme degli Stati (S): L’insieme di tutte le possibili condizioni in cui il sistema può trovarsi.
- Matrice di Transizione (P): Una matrice in cui l’elemento p_{ij} rappresenta la probabilità di passare dallo stato i allo stato j in un singolo passo.
- Distribuzione Stazionaria: Una distribuzione di probabilità che, una volta raggiunta, non cambia più nel tempo. Rappresenta l’equilibrio del sistema a lungo termine.
Significato Ingegneristico
- Affidabilità di Sistemi Complessi: Modellazione dello stato di un sistema che può essere “Funzionante”, “Degradato” o “Guasto”, con transizioni che dipendono dai tassi di guasto e di riparazione.
- Informatica (Algoritmo PageRank): Il motore di ricerca Google modella la navigazione di un utente nel web come una gigantesca catena di Markov per determinare l’importanza delle pagine.
- Teoria delle Code: La maggior parte dei modelli di coda (come M/M/1) sono catene di Markov a tempo continuo dove gli stati rappresentano il numero di clienti nel sistema.
- Riconoscimento Vocale e NLP: I modelli di Markov nascosti (HMM) sono stati per decenni alla base dei sistemi di trascrizione automatica del parlato.
Vedi anche: Processo Stocastico, Teoria delle Code.