3.7 – Analyse de puissance

Après avoir effectué un test statistique, on tire des conclusions sur l’hypothèse nulle. Dans les cas où l’hypothèse nulle n’est pas rejetée, un chercheur peut tout de même penser que le traitement a eu un effet. Disons que trois traitements de perte de poids sont menés. À la fin de l’étude, le chercheur analyse les données et constate qu’il n’y a pas de différences entre les traitements. Le chercheur pense qu’il y a vraiment des différences. Bien que vous puissiez penser que ce n’est qu’un vœu pieux de la part du chercheur, il PEUT y avoir une raison statistique à l’absence de résultats significatifs.

À ce stade, le chercheur peut effectuer une analyse de puissance. Rappelez-vous de votre texte ou cours d’introduction, que la puissance est la capacité de rejeter la nullité lorsque celle-ci est vraiment fausse. Les facteurs qui ont un impact sur la puissance sont la taille de l’échantillon (des échantillons plus grands conduisent à plus de puissance), la taille de l’effet (les traitements qui entraînent des différences plus importantes entre les groupes auront des différences plus facilement trouvées), la variabilité de l’expérience et la signification de l’erreur de type 1.

En guise de remarque, le type d’analyse de puissance le plus courant est celui qui calcule les tailles d’échantillon nécessaires pour les plans expérimentaux. Ces analyses tirent parti de données pilotes ou de recherches antérieures. Lorsque l’analyse de puissance est effectuée à l’avance, il s’agit d’une analyse de puissance PROSPECTIVE. Dans notre exemple, utiliser une analyse de puissance après la réalisation de l’expérience est une analyse de puissance rétrospective.

Retournons donc à notre exemple. Typiquement, nous voulons que la puissance soit de 80%. Encore une fois, la puissance représente notre capacité à rejeter la nullité quand elle est fausse, donc une puissance de 80% signifie que 80% du temps nous le faisons correctement. À l’inverse, dans 20 % des cas, nous risquons de ne pas rejeter le nul alors que nous devrions vraiment le rejeter.

En utilisant notre exemple de serre, nous pouvons effectuer une analyse de puissance rétrospective (pour rappel, nous ne le faisons généralement pas, sauf si nous avons des raisons de soupçonner que la puissance de notre test était très faible). Il s’agit d’une analyse où Minitab est beaucoup plus facile et toujours aussi précis que SAS, nous allons donc utiliser Minitab pour illustrer cette simple analyse de puissance.

Minitab : Analyse de puissance

Vous pouvez suivre les captures d’écran ci-dessous pour accéder au menu Puissance dans Minitab.

Puisque nous avons une ANOVA à une voie, nous sélectionnons ce test (vous pouvez voir qu’il existe des analyses de puissance pour de nombreux tests différents et SAS permettra des options encore plus compliquées)

Puis la boîte de dialogue vous demandera les quatre éléments décrits ci-dessus.

Lorsque vous regardez notre boîte de dialogue remplie, vous remarquez que nous n’avons pas entré de valeur pour la puissance. Cela est dû au fait que Minitab calculera la case que vous laissez vide (ainsi, si nous avions besoin de la taille de l’échantillon, nous laisserions la taille de l’échantillon vide et remplirions une valeur pour la puissance. Dans notre exemple, nous savons que le nombre de niveaux est de 4 car nous avons quatre traitements. Nous avons six observations pour chaque traitement, la taille de l’échantillon est donc de 6. La valeur de la différence maximale entre les moyennes est de 8,2 (nous avons simplement soustrait la plus petite moyenne de la plus grande moyenne) et l’écart-type est de 1,747. D’où vient cette valeur ? L’EQM représente l’erreur dans le modèle. Nous considérons également l’EQM comme la variabilité du modèle. Pour obtenir l’écart type, nous prenons simplement la racine carrée de la MSE (dans ce cas, la MSE était d’environ 3).

Après avoir cliqué sur OK, nous obtenons la sortie suivante :

Si vous suivez ce graphique, vous voyez que la puissance se trouve sur l’axe des y. Puisque nous voulons déterminer la puissance de l’exemple de la maison verte, tout ce que nous devons faire est de trouver le petit point rouge sur le graphique. Il est difficile à trouver, mais si vous regardez attentivement, le point rouge correspond à une puissance de 1. C’est très inhabituel, mais on peut facilement expliquer que les données de la serre ont été mises ensemble pour montrer les différences.

Nous pouvons poser la question, qu’en est-il des différences entre les groupes de traitement, sans tenir compte du contrôle ? Tout ce que nous devons faire est de modifier certaines des entrées dans Minitab.

Notez les différences ici comme dans la capture d’écran précédente. Nous avons maintenant 3 niveaux car nous ne considérons que les trois traitements. Les différences maximales entre les moyennes et aussi l’écart type sont également différents.

La sortie est maintenant beaucoup plus facile à voir :

Ici, nous pouvons voir que la puissance est plus faible qu’en incluant le contrôle. La principale raison de cette diminution est que la différence entre les moyennes est plus petite.

Vous pouvez expérimenter avec la fonction de puissance dans Minitab pour vous fournir des tailles d’échantillon, etc. pour différentes puissances. Vous trouverez ci-dessous un exemple de sortie lorsque nous demandons diverses courbes de puissance pour diverses tailles d’échantillon, une sorte de scénario  » what if « .

Pour rappel, les analyses de puissance sont le plus souvent effectuées AVANT la réalisation d’une expérience, mais occasionnellement, une analyse de puissance peut fournir des éléments de preuve sur la raison pour laquelle des différences significatives n’ont pas été trouvées.