Fleiss Kappa

Vous utilisez le kappa de Fleiss lorsque vous voulez savoir si les mesures de plus de deux personnes concordent. Les personnes qui mesurent quelque chose sont appelées évaluateurs.

Dans le cas du Fleiss Kappa, la variable à mesurer par les trois évaluateurs ou plus est une variable nominale. Par conséquent, si vous avez une variable nominale, vous utilisez le kappa de Fleiss.

Si vous avez une variable ordinale et plus de deux évaluateurs, vous utilisez le W de Kendall et si vous avez une variable métrique, vous utilisez la corrélation intra-classe. Si vous n'aviez que deux évaluateurs et une variable nominale, vous utiliseriez le Kappa de Cohen.

Mais assez de théorie pour le moment, voyons un exemple.

Exemple de Fleiss Kappa

Supposons que vous ayez mis au point un instrument de mesure, par exemple un questionnaire, permettant aux médecins de déterminer si une personne est déprimée ou non.

Vous donnez maintenant l'instrument de mesure à des médecins et les laissez évaluer 50 personnes avec cet instrument. La grande question qui se pose alors est la suivante: dans quelle mesure les mesures des médecins concordent-elles?

Si les évaluations des évaluateurs concordent très bien, on parle d'une fiabilité inter-évaluateurs élevée.

Et c'est précisément cette fiabilité inter-évaluateurs qui est mesurée par le Kappa de Fleiss. Le Fleiss Kappa est une mesure de la fiabilité inter-évaluateurs.

Fleiss Kappa avec mesure répétée

Jusqu'à présent, nous avons considéré le cas où deux personnes ou plus mesurent la même chose. Cependant, le Fleiss Kappa peut également être utilisé lorsque le même évaluateur prend la mesure à plus de deux reprises.

Dans ce cas, le kappa de Fleiss indique dans quelle mesure les mesures de la même personne concordent.

Dans ce cas, la variable étudiée a deux expressions, déprimée et non déprimée ; bien sûr, la variable étudiée peut être constituée de plus de deux expressions.

Fiabilité et validité du Fleiss Kappa

Il est important de noter qu'avec le kappa de Fleiss, vous ne pouvez faire qu'une déclaration sur la fiabilité avec laquelle les évaluateurs mesurent la même chose. Mais vous ne pouvez pas dire si ce que les évaluateurs mesurent est la bonne chose!

Ainsi, si tous les évaluateurs mesuraient la même chose, vous auriez un kappa de Fleiss très élevé. Le Kappa de Fleiss ne vous dit pas si cette valeur mesurée correspond à la réalité, c'est-à-dire si la valeur mesurée est correcte!

Dans le premier cas, on parle de fiabilité, dans le second cas, on parle de validité.

Calculer le Kappa de Fleiss

Nous pouvons calculer le Fleiss Kappa avec cette équation:

Dans cette formule, p_o est l'accord observé des évaluateurs, et pe est l'accord attendu des évaluateurs. La concordance attendue se produit lorsque les évaluateurs font des jugements complètement aléatoires, c'est-à-dire qu'ils tirent à pile ou face sur chaque patient pour savoir s'il est déprimé ou non.

Comment calculer p_o et p_e? Commençons par p_e

Disons que nous avons 7 patients et trois évaluateurs. Chaque patient a été évalué par chaque évaluateur.

Dans la première étape, nous comptons simplement combien de fois un patient a été jugé déprimé et combien de fois il a été jugé non déprimé.

Pour le premier patient, 0 évaluateur a dit que cette personne n'était pas déprimée et 3 évaluateurs ont dit que cette personne était déprimée. Pour la deuxième personne, un évaluateur a dit que la personne n'est pas déprimée et deux ont dit que la personne est déprimée.

Nous faisons maintenant la même chose pour tous les autres patients et nous pouvons calculer le total pour chacun. Au total, nous avons 8 évaluations avec "non déprimé" et 13 évaluations avec "déprimé". Au total, il y a eu 21 évaluations.

Nous pouvons alors calculer la probabilité qu'une personne soit classée comme non déprimée ou déprimée. Pour ce faire, nous divisons le nombre d'évaluations de déprimé et de non déprimé par le nombre total de 21.

Ainsi, une fois 8 par 21, nous obtenons que 38% des patients sont jugés par les évaluateurs comme non dépressifs, puis une autre fois 13 par 21, nous obtenons que 62% des patients ont été jugés comme dépressifs.

Pour calculer p_e, nous élevons maintenant les deux valeurs au carré et nous les additionnons.

Ainsi, 0,382 plus 0,622 est égal à 0,53.

Maintenant nous avons p_e et maintenant nous avons besoin de p_o.

Nous pouvons calculer p_o avec cette formule, ne vous inquiétez pas, elle semble plus compliquée qu'elle ne l'est.

Commençons par la première partie. Le grand N est le nombre de patients, c'est-à-dire 7, et le petit n est le nombre d'évaluateurs, c'est-à-dire 3. Cela nous donne 0,024 pour la première partie.

Dans la deuxième partie de la formule, nous élevons simplement au carré chaque valeur de ce tableau et nous additionnons le tout. Donc⁰² plus³² pour finalement¹² plus²². Cela nous donne 47.

Et la troisième partie revient à 7 fois 3, ce qui donne 21. Si nous substituons tout, nous obtenons 0,024 fois 47 - 21, ce qui est égal à 0,624.

Nous avons donc maintenant p_o et p_e. En les mettant dans la formule du kappa, on obtient un kappa de 0,19.

Interprétation du kappa de Fleiss

Maintenant, bien sûr, le coefficient Kappa de Fleiss doit être interprété. Pour cela, nous pouvons utiliser le tableau de Landis et Kock (1977).

Pour une valeur de Fleiss Kappa de 0,19, nous obtenons juste une légère correspondance.

Calculer le Fleiss Kappa avec DATAtab

Avec DATAtab vous pouvez facilement calculer le Fleiss Kappa en ligne. Pour ce faire, il suffit d'aller sur datatab.de et de copier vos propres données dans le tableau du calculateur de Fleiss Kappa. Cliquez ensuite sur l'onglet Fiabilité. Sous Fiabilité, vous pouvez calculer différentes statistiques de fiabilité. En fonction du nombre de variables sur lesquelles vous cliquez et du niveau d'échelle qu'elles ont, vous obtiendrez une suggestion appropriée.

Le Kappa de Fleiss est calculé pour les variables nominales. Si vos données sont reconnues comme métriques, veuillez changer le niveau d'échelle sous Data View en nominal.

Si vous cliquez maintenant sur Rater 1 et Rater 2, le Kappa de Cohens sera calculé, si vous cliquez maintenant sur Rater 3, le Kappa de Fleiss sera calculé.

Ci-dessous vous pouvez lire le Fleiss Kappa calculé.

Si vous ne savez pas comment interpréter le résultat, cliquez simplement sur Interprétations en mots.

Une analyse de la fiabilité inter-évaluateurs a été effectuée entre les échantillons dépendants de l'évaluateur 1, de l'évaluateur 2 et de l'évaluateur 3. À cette fin, le Kappa de Fleiss a été calculé, qui est une mesure de l'accord entre plus de deux échantillons catégoriques dépendants.

Le Fleiss Kappa a montré qu'il y avait un léger accord entre les échantillons Rater 1, Rater 2 et Rater 3 avec κ= 0.16.