Famiglia esponenziale — ingegnerismo.it

Una famiglia esponenziale è una classe di distribuzioni che può essere scritta in forma esponenziale naturale:

f_\eta(x)=h(x)\exp(\eta^T T(x)-A(\eta)).

Qui $\eta$ è il parametro naturale, $T(x)$ la statistica naturale, $h(x)$ il termine di base e $A(\eta)$ la funzione log-partizione. La funzione $A$ normalizza la densità o massa di probabilità:

A(\eta) = \log\int h(x)\exp(\eta^T T(x))\,dx

nel caso continuo, con somma al posto dell’integrale nel caso discreto. Il dominio dei valori di $\eta$ per cui $A(\eta)$ è finita si chiama spazio naturale dei parametri.

Sufficienza

Per un campione indipendente $X_1,\dots,X_n$ della stessa famiglia:

\prod_{i=1}^n f_\eta(x_i) = \left[\prod_{i=1}^n h(x_i)\right] \exp\left( \eta^T\sum_{i=1}^n T(x_i)-nA(\eta) \right).

Per il teorema di fattorizzazione di Fisher-Neyman, la statistica

\sum_{i=1}^n T(X_i)

è sufficiente per $\eta$ . Questa è una delle ragioni per cui le famiglie esponenziali sono centrali nella statistica inferenziale: comprimono l’informazione sul parametro in statistiche naturali di dimensione fissa.

Momenti e informazione

Quando la famiglia è regolare, le derivate della log-partizione generano i momenti della statistica naturale:

\nabla A(\eta)=\mathbb{E}_\eta[T(X)]

\nabla^2 A(\eta)=\operatorname{Var}_\eta(T(X)).

La curvatura di $A$ è quindi collegata all’informazione di Fisher e alla precisione asintotica della massima verosimiglianza.

Esempi

Distribuzione	Parametro naturale	Statistica naturale	Log-partizione
Bernoulli $(p)$	$\displaystyle \eta=\log\dfrac{p}{1-p}$	$\displaystyle x$	$\displaystyle A(\eta)=\log(1+e^\eta)$
Poisson $(\lambda)$	$\displaystyle \eta=\log\lambda$	$\displaystyle x$	$\displaystyle A(\eta)=e^\eta$
Normale $(\mu,\sigma^2)$ con $\sigma^2$ nota	$\displaystyle \eta=\dfrac{\mu}{\sigma^2}$	$\displaystyle x$	$\displaystyle A(\eta)=\dfrac{\sigma^2\eta^2}{2}$
Esponenziale $(\lambda)$	$\displaystyle \eta=-\lambda$	$\displaystyle x$	$\displaystyle A(\eta)=-\log(-\eta)$

La stessa distribuzione può ammettere parametrizzazioni diverse; la forma naturale è utile perché rende lineari i termini che coinvolgono il parametro.

Ruolo nei GLM

I modelli lineari generalizzati usano distribuzioni della famiglia esponenziale per collegare una media condizionata a un predittore lineare tramite una funzione link. Regressione logistica, regressione di Poisson e modelli gamma sono esempi tipici.

Errori comuni

Confondere la famiglia esponenziale con la sola distribuzione esponenziale: quest’ultima è un caso particolare.
Dimenticare il termine $A(\eta)$ : senza normalizzazione non si ha una distribuzione di probabilità.
Pensare che ogni parametrizzazione sia naturale: spesso serve trasformare i parametri per ottenere la forma canonica.
Assumere automaticamente completezza: la sufficienza è molto generale, mentre la completezza richiede condizioni aggiuntive.

Vedi anche: statistica sufficiente, statistica completa, massima verosimiglianza, informazione di Fisher, modello lineare generalizzato.