Un problema sovradeterminato è un sistema in cui il numero di equazioni è maggiore del numero di incognite. In forma matriciale:
In generale, un sistema di questo tipo non ammette una soluzione esatta, perché le equazioni possono essere incompatibili tra loro. In ingegneria e statistica questa situazione è normale: si hanno molte misure rumorose e pochi parametri da stimare.
Perché nasce
Un problema sovradeterminato compare quando si cerca di adattare un modello semplice a molti dati. Per esempio, nella regressione lineare si stimano pochi coefficienti usando molte osservazioni:
Ogni osservazione produce un’equazione, ma i coefficienti sono soltanto due. Se le misure contengono rumore, non esiste quasi mai una retta che passi esattamente per tutti i punti.
La sovradeterminazione è quindi spesso una scelta positiva: avere più equazioni che incognite permette di usare la ridondanza per ridurre l’effetto del rumore, controllare la coerenza dei dati e stimare l’incertezza dei parametri.
Compatibilità e rango
Il sistema:
è compatibile se b appartiene allo spazio delle colonne di A. In simboli:
Se questa condizione non vale, non esiste alcun x capace di soddisfare tutte le equazioni. Il problema diventa allora trovare l’approssimazione migliore.
Il rango di A determina anche l’identificabilità dei parametri. Se A ha rango colonnare pieno, le incognite sono distinguibili dai dati. Se alcune colonne sono linearmente dipendenti o quasi dipendenti, più combinazioni di parametri producono effetti simili e la stima diventa instabile.
Soluzione ai minimi quadrati
La strategia più comune è sostituire la risoluzione esatta con un problema di minimi quadrati:
Il vettore:
è il residuo. La soluzione ottima non annulla necessariamente il residuo, ma lo rende il più piccolo possibile secondo la norma scelta.
Se A ha rango colonnare pieno, la soluzione soddisfa le equazioni normali:
Quando la matrice è ben condizionata e le dimensioni sono moderate, questa formulazione è semplice e interpretabile. Quando invece il problema è numericamente delicato, si preferisce risolvere direttamente il problema ai minimi quadrati tramite QR, SVD o metodi iterativi.
Residui e qualità dell’adattamento
Il residuo:
non è un errore da eliminare a forza: contiene informazione. La sua ampiezza, struttura e distribuzione indicano se il modello è coerente con i dati.
Se i residui mostrano andamento sistematico, il problema potrebbe non essere solo rumoroso: il modello può essere sbagliato, mancare di variabili o usare una relazione troppo semplice.
Una misura sintetica è l’errore quadratico medio:
Il errore quadratico medio è utile per confrontare modelli, ma va letto insieme alla scala fisica delle grandezze e alla distribuzione dei residui.
Interpretazione geometrica
Il vettore Ax può muoversi soltanto nello spazio generato dalle colonne di A. Se b non appartiene a questo sottospazio, non esiste soluzione esatta. Il metodo dei minimi quadrati cerca allora la proiezione ortogonale di b su tale sottospazio.
La soluzione è quindi l’approssimazione compatibile con il modello, non una correzione magica dei dati.
Esempi ingegneristici
Problemi sovradeterminati compaiono in:
| Ambito | Esempio |
|---|---|
| metrologia | stima di parametri da misure ripetute |
| identificazione di sistemi | taratura di modelli dinamici |
| geodesia | triangolazioni e compensazione di reti |
| computer vision | ricostruzione 3D da molte osservazioni |
| statistica | regressioni con molti dati e pochi parametri |
In tutti questi casi, la ridondanza delle equazioni è utile: rende possibile stimare rumore, incertezza e coerenza del modello.
Versione pesata
Se alcune misure sono più affidabili di altre, si usa:
dove W contiene i pesi. Con pesi diagonali:
Una misura con incertezza piccola riceve peso maggiore; una misura rumorosa riceve peso minore. Questo è essenziale quando si combinano sensori diversi, unità di misura diverse o osservazioni con precisione non uniforme.
Differenza dal caso sottodeterminato
Un sistema sovradeterminato ha più equazioni che incognite. Un sistema sottodeterminato ha meno equazioni che incognite e può avere infinite soluzioni esatte. Nel primo caso il problema tipico è approssimare dati incompatibili; nel secondo è scegliere una soluzione tra molte, spesso imponendo criteri di norma minima, sparsità o regolarità.
Questa distinzione è importante: sovradeterminazione e sottodeterminazione richiedono strumenti diversi, anche se entrambi possono coinvolgere la pseudoinversa.
Diagnostica
Dopo aver risolto un problema sovradeterminato, non basta guardare i parametri stimati. Bisogna controllare i residui:
Residui casuali e piccoli rispetto all’incertezza attesa indicano che il modello è plausibile. Residui strutturati, invece, possono indicare non linearità, variabili mancanti, errori di misura, saturazione di sensori o dati appartenenti a regimi fisici diversi.
In regressione e calibrazione si controllano spesso residui standardizzati, punti influenti e leverage. Un singolo punto molto influente può modificare sensibilmente la soluzione, soprattutto se la matrice del problema è mal condizionata.
Scala delle variabili
Se le colonne di A hanno scale molto diverse, il problema può diventare numericamente instabile. Una colonna con valori dell’ordine di 10^6 e una con valori dell’ordine di 10^{-3} possono rendere difficile distinguere effetti reali da errori di arrotondamento.
Per questo si usano normalizzazione, centratura o adimensionalizzazione. Nei problemi fisici, la scelta migliore è spesso rendere le variabili coerenti con scale caratteristiche del sistema, non solo applicare una trasformazione automatica.
Errori comuni
Un errore frequente è trattare un sistema sovradeterminato come se fosse un sistema quadrato, cercando una soluzione esatta che non esiste. Un altro errore è ignorare le unità di misura: se le equazioni hanno scale molto diverse, il risultato dei minimi quadrati può essere dominato dalle grandezze numericamente più grandi.
Quando le misure hanno incertezze diverse, conviene usare minimi quadrati pesati. Quando la matrice è mal condizionata, è meglio evitare formule inverse esplicite e usare fattorizzazione QR, decomposizione SVD o pseudoinversa.