Kappa de Cohen

Le Kappa de Cohen est une mesure de l'accord entre deux échantillons catégoriels dépendants. Vous l'utilisez chaque fois que vous voulez savoir si les mesures de deux évaluateurs concordent.

Dans le cas du kappa de Cohen, la variable à mesurer par les deux taux est une variable nominale.

Par conséquent, si vous avez une variable nominale et que vous voulez savoir à quel point l'accord de 2 évaluateurs est élevé, vous utilisez le Kappa de Cohen. Si vous avez une variable ordinale et deux évaluateurs, vous utiliserez le tau de Kendall, et si vous avez une variable métrique, vous utiliserez la corrélation de Pearson. Si vous avez plus de deux échantillons dépendants nominaux, vous utilisez le Kappa de Fleiss.

Exemple de Kappa de Cohen

Supposons que vous ayez développé un instrument de mesure, par exemple un questionnaire, permettant aux médecins de déterminer si une personne est déprimée ou non. Vous donnez maintenant cet instrument de mesure à un médecin et lui demandez d'évaluer 50 personnes avec cet instrument.

Par exemple, votre méthode montre que la première personne est déprimée, la deuxième personne est déprimée et la troisième personne n'est pas déprimée. La grande question est maintenant: Un deuxième médecin arrive-t-il à la même conclusion?

Donc, avec un deuxième médecin, le résultat pourrait maintenant ressembler à ceci: Pour la première personne, les deux médecins arrivent au même résultat, mais pour la deuxième personne, le résultat est différent. Ce qui vous intéresse, c'est l'importance de l'accord entre les médecins, et c'est là qu'intervient le kappa de Cohens.

Fiabilité inter-évaluateurs

Lorsque les évaluations des deux médecins concordent très bien, on parle d'une fiabilité inter-évaluateurs élevée. Et c'est précisément cette fiabilité inter-juges qui est mesurée par le coefficient Kappa de Cohens.

Le kappa de Cohens est donc une mesure de la fiabilité avec laquelle deux évaluateurs mesurent la même chose.

Cas d'utilisation du Kappa de Cohen

Jusqu'à présent, nous avons considéré le cas où deux personnes mesurent la même chose. Cependant, le Kappa de Cohens peut également être utilisé lorsque le même évaluateur prend la mesure à deux moments différents.

Dans ce cas, le score du kappa de Cohen indique dans quelle mesure les deux mesures de la même personne concordent.

Fiabilité et validité du Kappa de Cohen

Il est important de noter qu'avec le coefficient Kappa de Cohens, vous ne pouvez faire qu'une déclaration sur la fiabilité avec laquelle les deux évaluateurs mesurent la même chose. Mais vous ne pouvez pas dire si ce que les deux évaluateurs mesurent est la bonne chose!

Dans le premier cas, nous parlons de fiabilité (si les deux évaluateurs mesurent la même chose) et dans le second cas, nous parlons de validité (si les deux évaluateurs mesurent la bonne chose). Le Kappa de Cohens ne peut être utilisé que pour mesurer la fiabilité.

Calculer le kappa de Cohens

La question qui se pose maintenant est la suivante: comment calcule-t-on le Kappa de Cohen? Ce n'est pas difficile! Pour cela, nous créons un tableau avec les fréquences des réponses respectives.

Pour cela, nous prenons nos deux évaluateurs, chacun d'entre eux ayant évalué si une personne est déprimée ou non. Maintenant, nous comptons combien de fois les deux ont évalué la même chose et combien de fois non.

Nous créons donc un tableau dans lequel l'évaluateur 1 indique "non déprimé" et "déprimé" et l'évaluateur 2 indique "non déprimé" et "déprimé". Maintenant, il suffit de tenir une feuille de pointage et de compter combien de fois chaque combinaison se produit.

Supposons que notre résultat final soit le suivant: 17 personnes ont attribué aux deux évaluateurs la mention "non déprimé". Pour 19 personnes, les deux évaluateurs ont choisi l'évaluation "déprimé".

Par conséquent, si les deux évaluateurs ont mesuré la même chose, cette personne est sur la diagonale, si quelque chose de différent a été mesuré, la personne est sur le bord ici. Nous voulons maintenant savoir combien de fois les deux évaluateurs sont d'accord et combien de fois ils ne le sont pas.

Les évaluateurs 1 et 2 sont d'accord pour dire que 17 patients ne sont pas déprimés et que 19 le sont. Les deux évaluateurs sont donc d'accord dans 36 cas. Au total, 50 personnes ont été évaluées.

Avec ces chiffres, nous pouvons maintenant calculer la probabilité que les deux évaluateurs mesurent la même chose chez une personne. Nous la calculons en divisant 36 par 50. Nous arrivons au résultat suivant: Dans 72% des cas, les deux évaluateurs évaluent la même chose dans 28% des cas différemment.

Cela nous donne la première partie dont nous avons besoin pour calculer le Kappa de Cohen. Le Kappa de Cohen est donné par cette formule:

Donc on vient de calculer le Kappa, qu'est-ce qu'on fait maintenant?

Si les deux médecins répondaient par pur hasard, en tirant pour ainsi dire à pile ou face, à la question de savoir si une personne est déprimée ou non, ils arriveraient certainement à la même conclusion dans certains cas, par pur hasard.

Et c'est exactement ce qu'indique le p_e: La probabilité hypothétique d'une correspondance aléatoire. Mais comment calcule-t-on p_e?

Pour calculer p_e, nous avons d'abord besoin des sommes des lignes et des colonnes. Avec cela, nous pouvons maintenant calculer le p_e.

Dans un premier temps, nous calculons la probabilité que les deux évaluateurs arrivent au hasard à l'évaluation "non déprimé".

• L'évaluateur 1 a évalué 25 personnes sur 50 comme "non déprimées", c'est-à-dire 50%.
• L'évaluateur 2 a évalué 23 personnes sur 50 comme "non déprimées", soit 46%.

La probabilité globale que les deux évaluateurs disent "non déprimé" par hasard est la suivante: 0.5 * 0.46 = 0.23

Dans la deuxième étape, nous calculons la probabilité que les évaluateurs disent tous les deux "déprimé" par hasard.

• L'évaluateur 1 dit "déprimé" chez 25 personnes sur 50, c'est-à-dire 50%.
• L'évaluateur 2 dit "déprimé" chez 27 personnes sur 50, soit 54%.

La probabilité totale que les deux évaluateurs disent "déprimé" par hasard est: 0.5 * 0.54 = 0.27. Avec cela, nous pouvons maintenant calculer p_e

Si les deux valeurs sont maintenant additionnées, nous obtenons la probabilité que les deux évaluateurs soient d'accord par hasard. p_e est donc de 0,23 + 0,27, ce qui est égal à 0,50. Par conséquent, si les médecins n'ont pas de conseils et lancent simplement les dés, la probabilité d'une telle correspondance est de 50 %.

Nous pouvons maintenant calculer le coefficient kappa de Cohen. Nous substituons simplement p_o et p_e et nous obtenons un coefficient kappa de 0,4 dans notre exemple.

À propos, dans p_o, le o signifie "observé". Et dans p_e, le e signifie "attendu". Par conséquent, p_o est ce que nous avons réellement observé et p_e serait ce à quoi nous nous attendrions s'il s'agissait d'un phénomène purement aléatoire.

Interprétation du Kappa de Cohen

Maintenant, bien sûr, nous aimerions interpréter le coefficient Kappa de Cohens calculé. À cette fin, le tableau de Landis & Koch (1977) peut servir de guide.

Par conséquent, le coefficient Kappa de Cohens de 0,44 qui vient d'être calculé représente une fiabilité ou un accord modéré.

Erreur Standard de Cohen's Kappa (SE)

L'Erreur Standard (SE) d'une statistique, comme le Kappa de Cohen, est une mesure de la précision de la valeur estimée. Elle indique dans quelle mesure la valeur calculée varierait si l'étude était répétée plusieurs fois avec différents échantillons de la même population. Par conséquent, c'est une mesure de la variabilité ou de l'incertitude autour de l'estimation de la statistique Kappa.

Calcul de l'Erreur Standard de Cohen's Kappa :

Le calcul du SE pour le Kappa de Cohen implique des formules quelque peu complexes qui prennent en compte les proportions globales de chaque catégorie évaluée et la distribution des évaluations entre les évaluateurs. La formule générale pour le SE de Cohen's Kappa est :

Où n est le nombre total d'éléments évalués.

Kappa de Cohen pondéré

Le Kappa de Cohen prend en compte l'accord entre deux évaluateurs, mais il n'est pertinent que si les deux évaluateurs mesurent la même chose ou non. Si une variable ordinale est présente, c'est-à-dire une variable avec un classement comme les notes scolaires, il est bien sûr souhaitable que les gradations soient également prises en compte. La différence entre "très bon" et "satisfaisant" est plus importante que celle entre "très bon" et "bon".

Pour en tenir compte, on peut calculer le kappa pondéré. Ici, l'écart est inclus dans le calcul. Les écarts peuvent être pris en compte de manière linéaire ou quadratique.

Calculer le Kappa de Cohen avec DATAtab

Je vais maintenant vous montrer comment vous pouvez facilement calculer le Kappa de Cohen pour vos données en ligne avec DATAtab.

Allez simplement à la calculatrice du Kappa de Cohen et copiez vos propres données dans le tableau. Cliquez maintenant sur l'onglet "Fiabilité".

Il ne vous reste plus qu'à cliquer sur les variables que vous voulez analyser et le Kappa de Cohen s'affichera automatiquement. Vous voyez d'abord le tableau croisé, puis vous pouvez lire le coefficient Kappa de Cohen calculé. Si vous ne savez pas comment interpréter le résultat, il suffit de cliquer sur Interprétations en toutes lettres.

Une analyse de la fiabilité inter-évaluateurs a été réalisée entre les échantillons dépendants Rater1 et Rater2. Pour cela, on a calculé le Kappa de Cohens, qui est une mesure de l'accord entre deux échantillons catégoriels liés. Le Kappa de Cohens a montré qu'il y avait un accord modéré entre les échantillons Rater1 et Rater2 avec κ= 0.23.