Informazione di Fisher — ingegnerismo.it

L’Informazione di Fisher è un concetto fondamentale nella teoria della stima che quantifica la precisione massima ottenibile stimando un parametro $\theta$ a partire dai dati osservati.

Definizione

Data una funzione di Verosimiglianza $L(\theta)$ , l’informazione di Fisher $I(\theta)$ è definita come la varianza della “score function” (la derivata del logaritmo della verosimiglianza): $I(\theta) = E\left[ \left( \frac{\partial}{\partial \theta} \ln L(\theta) \right)^2 \right]$

Intuitivamente, più la funzione di verosimiglianza è “appuntita” attorno al suo massimo, maggiore è l’informazione di Fisher e più accurata sarà la stima del parametro.

Relazione con Cramér-Rao

L’informazione di Fisher determina il limite inferiore per la varianza di qualsiasi Stimatore non distorto: $\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)}$ Uno stimatore che raggiunge questo limite è detto efficiente.

Significato Ingegneristico

Progettazione Sperimentale (Optimal Design): Gli ingegneri usano l’informazione di Fisher per decidere dove e quante misure prendere per minimizzare l’errore di stima dei parametri di un modello fisico.
Teoria dei Segnali: Utilizzata per calcolare il limite di risoluzione nel tempo o nella frequenza di un sistema radar o sonar (limite di risoluzione di Rayleigh-Schrödinger).
Ingegneria dei Sistemi: Nello studio della controllabilità e osservabilità di un sistema, l’informazione di Fisher indica se i sensori installati sono sufficienti a “conoscere” lo stato interno della macchina.

Vedi anche: Efficienza dello Stimatore, Massima Verosimiglianza, Verosimiglianza.