Un modello di Poisson a effetti casuali estende la regressione di Poisson introducendo una fonte di variabilità non osservata tra gruppi, soggetti, impianti, lotti o aree. È utile quando i conteggi sono organizzati in cluster e unità apparentemente simili hanno intensità reali diverse.
L’idea è semplice: condizionatamente all’effetto casuale il conteggio segue ancora una legge di Poisson; marginalmente, dopo aver integrato l’eterogeneità non osservata, la variabilità diventa più ampia e può comparire sovradispersione.
Struttura
Sia j il gruppo e sia i l’osservazione dentro il gruppo. Un modo operativo di scrivere il modello è usare un effetto moltiplicativo positivo U_j sull’intensità del conteggio:
Il termine \log t_{ij} è un offset quando le osservazioni hanno esposizioni diverse. Se non serve, si omette.
| Oggetto | Formula | Significato |
|---|---|---|
| Conteggio condizionato | \displaystyle Y_{ij}\mid U_j\sim\operatorname{Poisson}(U_j\lambda_{ij}) | Dentro il gruppo, il Poisson resta il modello locale. |
| Effetto casuale | \displaystyle U_j>0 | Fattore non osservato che aumenta o riduce il tasso del gruppo. |
| Media di base | \displaystyle \log\lambda_{ij}=X_{ij}^T\beta+\log t_{ij} | Parte spiegata da covariate e offset. |
| Normalizzazione | \displaystyle E(U_j)=1 | Mantiene \displaystyle \lambda_{ij} come media marginale di riferimento. |
| Eterogeneità | \displaystyle \operatorname{Var}(U_j)=\tau | Misura quanto i gruppi differiscono tra loro. |
Questa formulazione rende esplicito che il problema non è solo una varianza più grande, ma una struttura a livelli: osservazioni nello stesso gruppo condividono una componente latente.
Varianza e correlazione
Se E(U_j)=1 e \operatorname{Var}(U_j)=\tau, allora la media marginale resta \lambda_{ij}, ma la varianza aumenta:
Due conteggi nello stesso gruppo diventano inoltre correlati, perché condividono lo stesso effetto casuale:
| Quantità | Formula | Lettura |
|---|---|---|
| Media marginale | \displaystyle E(Y_{ij})=\lambda_{ij} | La media resta legata alla parte fissa del modello. |
| Varianza marginale | \displaystyle \operatorname{Var}(Y_{ij})=\lambda_{ij}+\tau\lambda_{ij}^2 | La variabilità cresce oltre il Poisson. |
| Sovradispersione | \displaystyle \operatorname{Var}(Y_{ij})>\lambda_{ij} | Compare quando \displaystyle \tau>0. |
| Covarianza intra-gruppo | \displaystyle \operatorname{Cov}(Y_{ij},Y_{kj})=\tau\lambda_{ij}\lambda_{kj} | Le osservazioni nello stesso gruppo non sono indipendenti. |
| Caso Poisson | \displaystyle \tau=0 | L’effetto casuale scompare e resta il Poisson ordinario. |
Questa è la differenza principale rispetto a una semplice correzione degli errori standard: il modello descrive una sorgente strutturata di dipendenza e di dispersione.
Confronto operativo
| Modello | Che cosa aggiunge | Quando è naturale |
|---|---|---|
| Poisson | \displaystyle \operatorname{Var}(Y\mid X)=\mu | Conteggi indipendenti e omogenei. |
| Quasi-Poisson | \displaystyle \operatorname{Var}(Y\mid X)=\phi\mu | Inferenza più prudente senza modellare la causa della dispersione. |
| Binomiale negativa | \displaystyle \operatorname{Var}(Y\mid X)=\mu+\alpha\mu^2 | Sovradispersione marginale ben descritta da una legge di varianza. |
| Poisson a effetti casuali | \displaystyle Y_{ij}\mid U_j\sim\operatorname{Poisson}(U_j\lambda_{ij}) | Eterogeneità e dipendenza dentro gruppi osservabili. |
| Zero-inflated o hurdle | \displaystyle P(Y=0) modellata separatamente | Molti zeri con meccanismo proprio. |
La regressione binomiale negativa può essere letta, in una parametrizzazione classica, come un Poisson con eterogeneità gamma non osservata. Un modello a effetti casuali esplicita però il livello di raggruppamento e consente di stimare differenze tra cluster, non solo una varianza marginale più ampia.
Quando usarlo
| Situazione | Segnale nei dati | Scelta modellistica |
|---|---|---|
| Conteggi per soggetto ripetuto | Residui simili dentro lo stesso soggetto. | Effetto casuale sul soggetto. |
| Impianti o lotti diversi | Alcuni gruppi hanno tassi persistentemente più alti. | Intercetta casuale per gruppo. |
| Aree territoriali | Conteggi concentrati in zone con rischio latente. | Effetto casuale spaziale o di area. |
| Esposizioni diverse | Tempi, volumi o popolazioni non confrontabili. | Offset \displaystyle \log t_{ij} insieme agli effetti casuali. |
| Zeri strutturali | Molti zeri non spiegati dal gruppo. | Confrontare anche modelli zero-inflated o hurdle. |
Il modello è particolarmente importante quando l’indipendenza delle osservazioni è poco plausibile. In manutenzione, affidabilità, qualità e biostatistica, ignorare il gruppo può produrre errori standard troppo piccoli e decisioni operative troppo aggressive.
Errori comuni
- Usarlo solo come sinonimo di sovradispersione: gli effetti casuali servono quando esiste una struttura di gruppo, non soltanto quando la varianza è alta.
- Dimenticare l’offset: se le unità hanno esposizioni diverse, l’effetto casuale non sostituisce la normalizzazione del tasso.
- Interpretare gli effetti casuali come coefficienti fissi ordinari: descrivono deviazioni di gruppo stimate con shrinkage, non effetti deterministici separati per ogni gruppo.
- Ignorare gli zeri strutturali: un effetto casuale può aumentare la varianza, ma non spiega automaticamente una popolazione che non può generare eventi.
- Sovraccaricare gruppi piccoli: con pochi dati per cluster, la stima della variabilità casuale può essere instabile e va letta con cautela.
Vedi anche: regressione di Poisson, sovradispersione, offset nei modelli lineari generalizzati, regressione quasi-Poisson, regressione binomiale negativa, modello zero-inflated, modello hurdle, modello lineare generalizzato, massima verosimiglianza.