La coniugazione bayesiana si ha quando, fissato un modello di verosimiglianza, una famiglia di distribuzioni a priori produce una distribuzione a posteriori appartenente alla stessa famiglia. In formule, se
la prior è coniugata quando p(\theta) e p(\theta\mid x) hanno la stessa forma distribuzionale, con parametri aggiornati dai dati.
La coniugazione è uno dei meccanismi più importanti dell’inferenza bayesiana elementare perché permette aggiornamenti analitici, interpretabili e spesso calcolabili a mano.
Beta-Bernoulli
Per osservazioni Bernoulli
e prior
se si osservano s successi e f fallimenti, la posteriore è
La distribuzione beta è quindi coniugata alla distribuzione di Bernoulli. I parametri a e b possono essere letti come pseudo-conteggi iniziali: i dati aggiornano la prior sommando successi e fallimenti osservati.
Dirichlet-Multinomiale
Nel caso multiclasse, se
è il vettore delle probabilità di classe e la prior è
allora, osservati conteggi n_1,\dots,n_K, la posteriore è
La distribuzione Dirichlet generalizza la Beta: invece di descrivere una probabilità binaria, descrive un vettore di probabilità che somma a uno.
Gamma-Poisson e Normal-Normal
Altri esempi classici sono Gamma-Poisson e Normal-Normal. Nel modello Poisson con parametro di intensità \lambda, una prior Gamma produce ancora una posteriore Gamma. Nel modello normale con varianza nota, una prior normale sulla media produce una posteriore normale.
Il tratto comune è che i parametri posteriori si ottengono combinando parametri della prior e statistiche sufficienti dei dati. Questo rende l’aggiornamento trasparente e computazionalmente economico.
Interpretazione come aggiornamento di informazione
La coniugazione mostra bene il ruolo della prior: non è un’aggiunta decorativa, ma una componente del calcolo. Se la prior è debole, i dati dominano rapidamente. Se la prior è informativa, può influenzare in modo sensibile la posteriore, specialmente con pochi dati.
Nel caso Beta-Bernoulli, per esempio, la media posteriore è
Questa formula rende evidente la media pesata tra informazione precedente e informazione campionaria.
Vantaggi
I vantaggi principali sono:
- aggiornamento analitico senza integrazioni numeriche;
- interpretazione semplice dei parametri;
- calcolo rapido in modelli sequenziali;
- utilità didattica per comprendere Bayes;
- basi per modelli più complessi e approssimazioni.
Per esempio, in applicazioni online si può aggiornare la posteriore man mano che arrivano nuovi dati, usando la posteriore corrente come prior del passo successivo.
Limiti
La coniugazione può indurre a scegliere una prior per comodità matematica più che per adeguatezza sostanziale. Inoltre molti modelli realistici non hanno prior coniugate semplici: modelli gerarchici, regressioni non lineari, reti bayesiane complesse e likelihood non standard richiedono spesso metodi numerici o approssimazioni.
Un altro limite è comunicativo: una prior coniugata può sembrare “oggettiva” perché produce formule eleganti, ma resta una scelta modellistica. Va giustificata, soprattutto quando i dati sono pochi o la decisione è ad alto impatto.
Errori comuni
Il primo errore è pensare che coniugato significhi corretto. Significa solo matematicamente compatibile con aggiornamento chiuso. Il secondo è ignorare la scala dei parametri della prior: pseudo-conteggi grandi possono dominare i dati. Il terzo è confondere intervallo di credibilità con un risultato puramente frequentista: l’intervallo dipende dalla posteriore, quindi anche dalla prior.
Per esercizi operativi si vedano probabilità condizionata e Bayes e inferenza bayesiana e priori coniugate.