La potenza statistica di un test è la probabilità di rifiutare l’ipotesi nulla quando l’ipotesi alternativa è vera. In simboli:
dove \beta è la probabilità di errore di secondo tipo.
Se H_0 è falsa ma il test non la rifiuta, si commette un errore di secondo tipo. La potenza misura quindi la capacità del test di vedere un effetto reale, dato un certo modello probabilistico, una certa soglia decisionale e una specifica alternativa.
Più in generale si parla di funzione di potenza:
dove \theta è il parametro reale del processo. Sotto l’ipotesi nulla la funzione di potenza è legata al livello di significatività, cioè alla probabilità di errore di primo tipo; sotto l’alternativa diventa la probabilità di rilevare l’effetto.
La potenza aumenta di solito quando:
- cresce la dimensione campionaria;
- cresce la dimensione dell’effetto da rilevare;
- diminuisce la variabilità dei dati;
- si accetta un livello di significatività \alpha più alto;
- il test è scelto in modo coerente con il modello dei dati.
In un confronto tra media campionaria e valore di riferimento, una forma approssimata mostra il ruolo delle grandezze principali:
A parità di variabilità \sigma, raddoppiare la precisione richiede aumentare molto il campione, perché l’errore standard scala come 1/\sqrt{n}.
La progettazione della potenza è una parte essenziale del disegno sperimentale. Serve a evitare esperimenti troppo piccoli per rispondere alla domanda posta, ma anche campioni inutilmente grandi quando costo, tempo o vincoli etici sono rilevanti. In ingegneria è particolarmente importante distinguere significatività statistica e rilevanza pratica: con molti dati si possono rilevare differenze minime, mentre con pochi dati si possono perdere effetti tecnicamente importanti.
Un errore comune è calcolare la potenza dopo aver osservato un risultato non significativo usando l’effetto stimato dallo stesso campione. Questa “potenza post-hoc” spesso aggiunge poca informazione: è preferibile riportare stime, intervalli di confidenza e una valutazione preventiva della potenza basata sull’effetto minimo di interesse.
Vedi anche: errore di primo e secondo tipo, test di ipotesi, intervallo di confidenza.