3.7 – Analiza mocy
Po wykonaniu testu statystycznego wyciąga się wnioski dotyczące hipotezy zerowej. W przypadkach, gdy hipoteza zerowa nie jest odrzucona, badacz może nadal uważać, że leczenie przyniosło efekt. Powiedzmy, że prowadzone są trzy zabiegi odchudzające. Na koniec badania, badacz analizuje dane i stwierdza, że nie ma różnic między zabiegami. Badacz wierzy, że różnice naprawdę istnieją. Choć można by pomyśleć, że jest to tylko myślenie życzeniowe ze strony badacza, MOŻE istnieć statystyczny powód braku istotnych wyników.
W tym momencie badacz może przeprowadzić analizę mocy. Przypomnij sobie z Twojego tekstu wprowadzającego lub kursu, że moc jest zdolnością do odrzucenia zera, gdy null jest naprawdę fałszywe. Czynniki, które wpływają na moc to wielkość próby (większe próby prowadzą do większej mocy), wielkość efektu (zabiegi, które skutkują większymi różnicami między grupami, będą miały różnice, które łatwiej znaleźć), zmienność eksperymentu i znaczenie błędu typu 1.
Jako uwaga, najbardziej powszechnym rodzajem analizy mocy są te, które obliczają potrzebne wielkości prób dla projektów eksperymentalnych. Analizy te wykorzystują dane pilotażowe lub wcześniejsze badania. Kiedy analiza mocy jest wykonywana z wyprzedzeniem, jest to PROSPEKTYWNA analiza mocy. W naszym przykładzie, użycie analizy mocy po wykonaniu eksperymentu jest retrospektywną analizą mocy.
Wracamy więc do naszego przykładu. Zazwyczaj chcemy, aby moc była na poziomie 80%. Ponownie, moc reprezentuje naszą zdolność do odrzucenia zera, gdy jest ono fałszywe, więc moc 80% oznacza 80% czasu, w którym robimy to poprawnie. Odwrotnie jest w przypadku 20% przypadków, w których ryzykujemy, że nie uda nam się odrzucić zera, gdy naprawdę powinniśmy odrzucić zero.
Wykorzystując nasz przykład z cieplarnią, możemy przeprowadzić retrospektywną analizę mocy (dla przypomnienia: zazwyczaj nie robimy tego, chyba że mamy powody, aby podejrzewać, że moc naszego testu była bardzo niska). Jest to jedna z analiz, w przypadku których program Minitab jest znacznie prostszy i równie dokładny jak SAS, dlatego do zilustrowania tej prostej analizy mocy użyjemy programu Minitab.
Minitab: Power Analysis
Możesz postępować zgodnie z poniższymi zrzutami ekranu, aby uzyskać dostęp do menu Power w programie Minitab.
Ponieważ mamy jednokierunkową ANOVA, wybieramy ten test (jak widać, istnieją analizy mocy dla wielu różnych testów, a SAS umożliwia jeszcze bardziej skomplikowane opcje)
Następnie w oknie dialogowym pojawi się pytanie o cztery elementy opisane powyżej.
Spoglądając na nasze wypełnione okno dialogowe, można zauważyć, że nie wprowadziliśmy wartości mocy. Dzieje się tak dlatego, że program Minitab obliczy wartość pola, które nie zostanie wypełnione (gdybyśmy potrzebowali wielkości próby, pozostawilibyśmy puste pole, a wpisali wartość dla mocy). Z naszego przykładu wynika, że liczba poziomów wynosi 4, ponieważ mamy cztery metody leczenia. Mamy sześć obserwacji dla każdego z zabiegów, więc wielkość próby wynosi 6. Wartość maksymalnej różnicy między średnimi wynosi 8,2 (po prostu odjęliśmy najmniejszą średnią od największej średniej), a odchylenie standardowe wynosi 1,747. Skąd to się wzięło? MSE reprezentuje błąd w modelu. Uważamy również MSE za zmienność w modelu. Aby uzyskać odchylenie standardowe, po prostu bierzemy pierwiastek kwadratowy z MSE (w tym przypadku MSE wynosiło około 3).
Po kliknięciu przycisku OK otrzymujemy następujące dane wyjściowe:
Jeśli prześledzisz ten wykres, zobaczysz, że moc znajduje się na osi y. Ponieważ jesteśmy zainteresowani określeniem, jaka jest moc przykładu zielonego domu, wszystko, co musimy zrobić, to skończyć z małą czerwoną kropką na wykresie. Jest to trudne do znalezienia, ale jeśli przyjrzeć się uważnie, czerwona kropka odpowiada mocy 1. Jest to bardzo niezwykłe, ale może być łatwo wyjaśnione, że dane szklarni został złożony razem, aby pokazać różnice.
Możemy zadać pytanie, co z różnicami między grupami leczenia, nie biorąc pod uwagę kontroli? Wystarczy zmodyfikować niektóre dane wejściowe w programie Minitab.
Zauważ różnice w porównaniu z poprzednim zrzutem ekranu. Mamy teraz 3 poziomy, ponieważ bierzemy pod uwagę tylko trzy zabiegi. Maksymalne różnice między średnimi, a także odchylenie standardowe są również inne.
Wyjście jest teraz znacznie łatwiejsze do zobaczenia:
W tym miejscu widzimy, że moc jest niższa niż w przypadku uwzględnienia kontroli. Głównym powodem tego spadku jest to, że różnica między średnimi jest mniejsza.
Można eksperymentować z funkcją mocy w programie Minitab, która podaje wielkości próbek itp. dla różnych mocy. Poniżej przedstawiono przykładowe dane wyjściowe, gdy pytamy o różne krzywe mocy dla różnych wielkości prób, co jest swego rodzaju scenariuszem „co by było, gdyby”.
Przypominamy, że analizy mocy są najczęściej wykonywane PRZED przeprowadzeniem eksperymentu, ale czasami analiza mocy może dostarczyć pewnych dowodów na to, dlaczego nie znaleziono istotnych różnic.