Il teorema di Gauss-Markov afferma che, nel modello lineare classico, lo stimatore dei minimi quadrati ordinari è BLUE: Best Linear Unbiased Estimator. “Best” significa con varianza minima tra tutti gli stimatori lineari non distorti dei coefficienti.
Il modello è:
con X matrice di progetto a rango pieno e:
La seconda condizione contiene due ipotesi: omoschedasticità, cioè varianza costante degli errori, e assenza di correlazione tra errori diversi. In queste condizioni lo stimatore OLS è:
ed è non distorto:
La sua matrice di varianza-covarianza è:
Il teorema non dice che OLS sia sempre lo stimatore migliore in senso assoluto. Dice che è il migliore dentro una classe precisa: stimatori lineari e non distorti, sotto le ipotesi indicate. Se si accettano stimatori distorti, modelli non lineari o informazioni a priori, il confronto cambia.
La normalità degli errori non è necessaria per il teorema di Gauss-Markov. Serve invece per ottenere inferenza esatta con statistiche t e F in piccoli campioni. In grandi campioni, risultati asintotici possono giustificare approssimazioni anche senza normalità, ma non sostituiscono automaticamente le altre ipotesi.
Se eteroschedasticità o correlazione seriale sono presenti, OLS può restare non distorto sotto opportune condizioni di esogeneità, ma le varianze classiche non sono più affidabili. In questi casi si usano errori standard robusti, GLS, WLS o modelli specifici per la struttura degli errori.
In applicazioni ingegneristiche il teorema è importante perché chiarisce quando una regressione lineare può essere usata come strumento efficiente di stima e quando, invece, le incertezze dichiarate dal modello sono troppo ottimistiche. Le verifiche sui residui non sono una formalità: riguardano direttamente la validità delle conclusioni.
Vedi anche: regressione lineare, test di ipotesi.