Il bias-variance tradeoff descrive il compromesso tra errore sistematico di un modello e variabilità della stima al cambiare del campione. È un concetto centrale in statistica predittiva e apprendimento supervisionato: spiega perché un modello non deve essere né troppo rigido né troppo sensibile ai dati di addestramento.
In una decomposizione ideale dell’errore predittivo quadratico in un punto x:
Il termine \sigma^2 è il rumore irriducibile: anche il modello ideale non può eliminarlo se i dati contengono variabilità non spiegabile.
Bias e varianza
Il bias misura quanto, in media, il modello è lontano dalla relazione vera. Un modello troppo semplice ha bias alto perché non riesce a rappresentare la struttura dei dati: per esempio una retta usata per descrivere una relazione fortemente non lineare.
La varianza misura quanto il modello cambia se cambia il campione di addestramento. Un modello troppo flessibile può adattarsi anche al rumore del campione, ottenendo prestazioni ottime sui dati di training ma peggiori su dati nuovi. Questo è il caso tipico dell’overfitting.
| Complessità del modello | Bias | Varianza | Rischio |
|---|---|---|---|
| troppo bassa | alto | bassa | underfitting |
| equilibrata | moderato | moderata | buona generalizzazione |
| troppo alta | basso | alta | overfitting |
Errore di generalizzazione
La scelta operativa mira a minimizzare l’errore di generalizzazione, cioè l’errore su dati non usati per addestrare il modello. Per stimarlo si usano validazione, test set e validazione incrociata.
Nel caso di uno stimatore statistico, lo stesso compromesso compare nell’errore quadratico medio:
Questa formula mostra che uno stimatore non distorto non è automaticamente migliore: se la sua varianza è molto alta, l’errore quadratico medio può essere peggiore di quello di uno stimatore leggermente distorto ma più stabile.
Controllo del compromesso
Il compromesso si controlla tramite scelta della classe di modello, regolarizzazione, quantità di dati, selezione delle variabili, profondità di un albero, grado di un polinomio, larghezza di una rete neurale o intensità di penalizzazioni nella funzione di perdita.
Un errore comune è guardare solo l’errore di addestramento. Se l’errore di training scende ma l’errore di validazione cresce, il modello sta probabilmente aumentando la varianza e perdendo capacità di generalizzare.
Vedi anche: Errore quadratico medio, Validazione incrociata.