3.7 – Analisi della potenza

Dopo aver completato un test statistico, si traggono conclusioni sull’ipotesi nulla. Nei casi in cui l’ipotesi nulla non viene respinta, un ricercatore può ancora ritenere che il trattamento abbia avuto un effetto. Diciamo che vengono condotti tre trattamenti per la perdita di peso. Alla fine dello studio, il ricercatore analizza i dati e trova che non ci sono differenze tra i trattamenti. Il ricercatore crede che ci siano davvero delle differenze. Anche se si potrebbe pensare che questo sia solo un pio desiderio da parte del ricercatore, potrebbe esserci una ragione statistica per la mancanza di risultati significativi.

A questo punto, il ricercatore può eseguire un’analisi della potenza. Ricordate dal vostro testo introduttivo o dal vostro corso, che la potenza è la capacità di rifiutare il nullo quando il nullo è veramente falso. I fattori che incidono sulla potenza sono la dimensione del campione (campioni più grandi portano ad una maggiore potenza), la dimensione dell’effetto (i trattamenti che portano a differenze più grandi tra i gruppi avranno differenze più facilmente riscontrabili), la variabilità dell’esperimento e la significatività dell’errore di tipo 1.

Come nota, il tipo più comune di analisi della potenza sono quelle che calcolano le dimensioni del campione necessarie per i disegni sperimentali. Queste analisi sfruttano i dati pilota o le ricerche precedenti. Quando l’analisi di potenza viene fatta in anticipo si tratta di un’analisi di potenza PROSPETTIVA. Nel nostro esempio, usare un’analisi di potenza dopo che l’esperimento è stato fatto è un’analisi di potenza retrospettiva.

Torniamo al nostro esempio. Tipicamente vogliamo che la potenza sia dell’80%. Di nuovo, la potenza rappresenta la nostra capacità di rifiutare il nullo quando è falso, quindi una potenza dell’80% significa che l’80% delle volte lo facciamo correttamente. Il contrario è che il 20% delle volte rischiamo di non rifiutare il null quando dovremmo davvero rifiutare il null.

Utilizzando il nostro esempio della serra, possiamo eseguire un’analisi retrospettiva della potenza (solo un promemoria che di solito non lo facciamo a meno che non abbiamo qualche motivo per sospettare che la potenza del nostro test fosse molto bassa). Questa è un’analisi in cui Minitab è molto più facile e comunque altrettanto accurata di SAS, quindi useremo Minitab per illustrare questa semplice analisi di potenza.

Minitab: Analisi di potenza

Puoi seguire le schermate qui sotto per accedere al menu Power in Minitab.

Siccome abbiamo un ANOVA a una via selezioniamo questo test (potete vedere che ci sono analisi di potenza per molti test diversi e SAS permetterà opzioni ancora più complicate)

Prossimamente la finestra di dialogo chiederà i quattro elementi descritti sopra.

Guardando la nostra finestra di dialogo compilata si nota che non abbiamo inserito un valore per la potenza. Questo perché Minitab calcolerà qualsiasi casella lasciata vuota (quindi se avessimo bisogno della dimensione del campione lasceremmo vuota la dimensione del campione e compileremmo un valore per la potenza. Dal nostro esempio, sappiamo che il numero di livelli è 4 perché abbiamo quattro trattamenti. Abbiamo sei osservazioni per ogni trattamento, quindi la dimensione del campione è 6. Il valore della differenza massima nelle medie è 8,2 (abbiamo semplicemente sottratto la media più piccola dalla media più grande, e la deviazione standard è 1,747. Da dove viene questo? Il MSE rappresenta l’errore nel modello. Consideriamo il MSE anche la variabilità del modello. Per ottenere la deviazione standard prendiamo semplicemente la radice quadrata del MSE (in questo caso il MSE era circa 3).

Dopo aver cliccato su OK otteniamo il seguente output:

Se si segue questo grafico si vede che la potenza è sull’asse y. Poiché siamo interessati a determinare qual è la potenza dell’esempio della casa verde, tutto quello che dobbiamo fare è pinnare il piccolo punto rosso sul grafico. È difficile da trovare, ma se si guarda attentamente il punto rosso corrisponde a una potenza di 1. Questo è molto insolito, ma può essere facilmente spiegato che i dati della serra sono stati messi insieme per mostrare le differenze.

Possiamo porre la domanda: e le differenze tra i gruppi di trattamento, senza considerare il controllo? Tutto quello che dobbiamo fare è modificare alcuni degli input in Minitab.

Nota le differenze qui come nello screenshot precedente. Ora abbiamo 3 livelli perché stiamo considerando solo i tre trattamenti. Anche le differenze massime tra le medie e anche la deviazione standard sono diverse.

L’output ora è molto più facile da vedere:

Qui possiamo vedere che la potenza è più bassa rispetto all’inclusione del controllo. La ragione principale di questa diminuzione è perché la differenza tra i mezzi è più piccola.

Puoi sperimentare con la funzione di potenza in Minitab per fornirti le dimensioni del campione, ecc. per varie potenze. Sotto c’è qualche esempio di output quando chiediamo varie curve di potenza per varie dimensioni del campione, una specie di scenario “what if”.

Solo come promemoria, le analisi di potenza sono più spesso effettuate PRIMA che un esperimento sia condotto, ma occasionalmente, un’analisi di potenza può fornire alcune prove sul perché non sono state trovate differenze significative.