La verosimiglianza marginale, detta anche evidenza (model evidence), è la probabilità dei dati osservati sotto un modello bayesiano dopo aver integrato i parametri incerti rispetto alla loro distribuzione a priori:
Nel caso discreto l’integrale è sostituito da una somma. La quantità è “marginale” perché il parametro \theta viene eliminato per marginalizzazione.
Interpretazione
La verosimiglianza marginale misura quanto il modello M, con la sua prior sui parametri, riesce a predire i dati osservati. Non valuta solo il miglior valore dei parametri, ma una media pesata della verosimiglianza su tutto lo spazio parametrico.
Questa media introduce automaticamente una penalizzazione per modelli troppo flessibili: se un modello distribuisce molta probabilità a priori su regioni che spiegano male i dati, la sua evidenza può risultare bassa anche se possiede un massimo di verosimiglianza elevato.
Ruolo nel fattore di Bayes
Il fattore di Bayes confronta due modelli tramite il rapporto delle loro verosimiglianze marginali:
Per questo motivo la scelta delle prior è parte del modello, non un dettaglio secondario. Prior improprie o normalizzate con costanti arbitrarie non possono essere usate direttamente per confronti tramite evidenza, perché la costante entra nel valore dell’integrale.
Confronto con la verosimiglianza massima
| Quantità | Formula | Uso |
|---|---|---|
| Verosimiglianza | \displaystyle p(x\mid\theta,M) | valuta parametri fissati |
| Massima verosimiglianza | \displaystyle \max_\theta p(x\mid\theta,M) | stima puntuale dei parametri |
| Verosimiglianza marginale | \displaystyle \int p(x\mid\theta,M)\pi(\theta\mid M)\,d\theta | confronto bayesiano tra modelli |
Il criterio di informazione bayesiano può essere letto come un’approssimazione asintotica della verosimiglianza marginale in condizioni regolari.
Vedi anche: fattore di Bayes, inferenza bayesiana, probabilità a posteriori, criterio di informazione bayesiano.