Disuguaglianza di Jensen — ingegnerismo.it

La disuguaglianza di Jensen mette in relazione l’immagine del valore atteso di una variabile aleatoria con il valore atteso dell’immagine della variabile stessa, sotto l’ipotesi di convessità o concavità della funzione applicata.

Enunciato

Sia $X$ una variabile aleatoria e $g$ una funzione convessa. Allora: $g(E[X]) \leq E[g(X)]$ Se $g$ è una funzione concava, la disuguaglianza si inverte: $g(E[X]) \geq E[g(X)]$

Esempi Comuni

Funzione Quadrato (convessa): $(E[X])^2 \leq E[X^2]$ . Questa è l’essenza del fatto che la Varianza ( $E[X^2] - (E[X])^2$ ) è sempre non negativa.
Funzione Logaritmo (concava): $\ln(E[X]) \geq E[\ln X]$ . Fondamentale in teoria dell’informazione.

Significato Ingegneristico

Teoria dell’Informazione: È la base per dimostrare che l’entropia è massima per una distribuzione uniforme e per definire la divergenza di Kullback-Leibler (che è sempre $\geq 0$ ).
Ingegneria dei Sistemi e Controllo: Nello studio di sistemi non lineari, la disuguaglianza di Jensen avverte l’ingegnere che “la media dell’uscita non è l’uscita della media”. Ad esempio, se la potenza dissipata dipende dal quadrato della corrente ( $P = RI^2$ ), la potenza media dissipata sarà sempre maggiore della potenza calcolata usando la corrente media.
Ottimizzazione e Machine Learning: Molti algoritmi (come l’algoritmo Expectation-Maximization - EM) utilizzano la disuguaglianza di Jensen per definire dei limiti inferiori (lower bounds) su funzioni di log-verosimiglianza difficili da massimizzare direttamente.

Vedi anche: Valore Atteso, Varianza.