Il fattore di Bayes è una misura bayesiana di confronto tra modelli. Date due ipotesi o due modelli statistici M_0 e M_1, confronta quanto i dati osservati siano predetti dal primo rispetto al secondo tramite il rapporto delle loro verosimiglianze marginali:
Se BF_{01}\gt1, i dati favoriscono M_0 rispetto a M_1; se BF_{01}\lt1, favoriscono M_1 rispetto a M_0. Il valore BF_{01}=1 indica che, secondo i modelli dichiarati, i dati non discriminano tra le due alternative.
Evidenza marginale
Per un modello M_k con parametro \theta_k, l’evidenza marginale è:
La quantità p(x\mid\theta_k,M_k) è la verosimiglianza dei dati a parametro fissato, mentre \pi(\theta_k\mid M_k) è la distribuzione a priori dei parametri sotto il modello M_k. L’integrale somma, o media, la capacità predittiva del modello su tutti i valori del parametro ammessi dalla prior.
Questo punto è cruciale: il fattore di Bayes non confronta solo il miglior adattamento possibile, ma l’intero modello probabilistico. Un modello molto flessibile può ottenere una verosimiglianza massima alta e tuttavia una evidenza marginale non elevata, se assegna molta probabilità a priori a regioni parametriche che avrebbero predetto male i dati. In questo senso l’evidenza marginale incorpora una penalizzazione bayesiana della complessità.
Nel caso discreto l’integrale viene sostituito da una somma:
Per questo motivo il fattore di Bayes richiede prior proprie, cioè distribuzioni a priori normalizzabili. Le prior improprie possono essere utili per stimare parametri, ma non possono essere usate ingenuamente nel confronto tra modelli: la costante arbitraria di normalizzazione entrerebbe direttamente nell’evidenza marginale.
Odds prior e posterior
Il fattore di Bayes aggiorna gli odds tra modelli. La formula operativa è:
In parole: gli odds posteriori sono uguali agli odds a priori moltiplicati per il fattore di Bayes. Il fattore di Bayes misura quindi l’informazione fornita dai dati, separata dalle probabilità a priori dei modelli.
Se i due modelli partono con la stessa probabilità a priori, gli odds a priori sono 1:1 e il fattore di Bayes coincide con gli odds posteriori. Per esempio, se BF_{10}=8, i dati spostano gli odds a favore di M_1 a 8:1. Con prior uguali, la probabilità a posteriori di M_1 diventa:
Se invece un modello era molto più plausibile a priori, lo stesso fattore di Bayes può non bastare a renderlo meno probabile a posteriori. Per questo, in un’analisi completa, bisogna dichiarare sia BF sia le probabilità a priori dei modelli.
Scala interpretativa
Le soglie vanno usate con prudenza, ma una lettura operativa frequente è:
| Valore di BF_{01} | Lettura a favore di M_0 |
|---|---|
| 1-3 | debole |
| 3-10 | moderata |
| 10-30 | forte |
| \gt30 | molto forte |
Se si preferisce ragionare a favore di M_1, si usa BF_{10}=1/BF_{01}.
Queste scale non sono leggi matematiche. Sono convenzioni interpretative: in applicazioni ingegneristiche, mediche, economiche o di affidabilità, una evidenza “moderata” può essere insufficiente se la decisione è costosa o rischiosa. Il fattore di Bayes va quindi letto insieme al contesto decisionale, alla qualità dei dati e alla plausibilità dei modelli confrontati.
Esempio di lettura
Supponiamo di confrontare un modello nullo M_0, che non prevede effetto, con un modello alternativo M_1, che prevede un effetto positivo. Se si ottiene:
i dati sono quattro volte più probabili sotto M_0 che sotto M_1, considerando le rispettive prior sui parametri. Questo non significa che P(M_0\mid x)=0{,}8 in automatico: quella probabilità si ottiene solo dopo aver specificato gli odds a priori tra i modelli. Con prior uguali, invece, gli odds posteriori diventano 4:1 a favore di M_0.
Differenza dal p-value
Il fattore di Bayes confronta direttamente due modelli e può fornire evidenza a favore di un’ipotesi nulla. Un p-value, invece, misura quanto dati almeno così estremi sarebbero compatibili con un’ipotesi nulla fissata, ma non dà direttamente la probabilità dell’ipotesi né il rapporto tra due modelli.
Nel test di ipotesi frequentista classico, un p-value grande non è una prova a favore dell’ipotesi nulla: spesso indica solo che i dati non sono abbastanza incompatibili con essa. Il fattore di Bayes, se i modelli sono specificati correttamente, può invece distinguere tra “dati favorevoli al nullo” e “dati poco informativi”.
Collegamento con BIC
Il criterio di informazione bayesiano può essere interpretato come un’approssimazione asintotica della verosimiglianza marginale in condizioni regolari. Per due modelli stimati sugli stessi dati, una relazione operativa è:
Poiché valori più bassi di BIC indicano un compromesso migliore tra adattamento e complessità, se \operatorname{BIC}_0 è molto minore di \operatorname{BIC}_1, l’approssimazione suggerisce evidenza a favore di M_0. Questa relazione è utile per orientarsi, ma non sostituisce il calcolo esplicito del fattore di Bayes quando le prior, la dimensione campionaria o la regolarità del modello sono delicate.
Uso operativo
Il fattore di Bayes è utile quando il problema richiede un confronto esplicito tra modelli alternativi: scelta tra modelli di regressione, confronto tra meccanismi fisici, diagnosi probabilistica, selezione di modelli predittivi o valutazione di ipotesi nulle scientificamente rilevanti. È particolarmente interessante quando si vuole quantificare anche l’evidenza a favore dell’assenza di un effetto, non solo rifiutare o non rifiutare una soglia.
Nelle applicazioni pratiche è buona norma riportare l’ordine del rapporto, le prior usate, un’analisi di sensibilità rispetto alle prior e, quando possibile, misure predittive complementari. Un fattore di Bayes calcolato su modelli mal specificati resta un confronto tra modelli mal specificati: non dimostra che il modello vincente sia vero, ma solo che predice meglio i dati rispetto all’alternativa dichiarata.
Errori comuni
- Usare prior improprie per parametri presenti solo in un modello: la costante arbitraria altera l’evidenza.
- Interpretare BF_{01} senza dichiarare l’ordine dei modelli: invertire l’indice inverte il rapporto.
- Confondere evidenza statistica e probabilità posteriori: servono anche gli odds a priori dei modelli.
- Confrontare modelli con prior scelte solo per comodità computazionale senza analisi di sensibilità.
- Leggere un fattore di Bayes come probabilità assoluta di verità del modello: è un rapporto di evidenze, non una garanzia ontologica.
- Dimenticare che il confronto è sempre relativo: un modello può vincere contro un’alternativa debole e restare comunque inadeguato.
Vedi anche: verosimiglianza marginale, inferenza bayesiana, probabilità a priori, probabilità a posteriori, criterio di informazione bayesiano, verosimiglianza.