Kappa de Cohens pondéré

Le Kappa de Cohens pondéré est une mesure de la concordance entre deux échantillons à échelle ordinale. Il est utilisé chaque fois que l'on veut savoir si les mesures de deux personnes concordent. Les deux personnes qui mesurent quelque chose sont appelées évaluateurs.

Dans le cas du Kappa de Cohen"normal", la variable à mesurer par les deux évaluateurs est une variable nominale. Avec une variable nominale, les caractéristiques peuvent être distinguées, mais il n'y a pas de classement entre les caractéristiques.

Le Kappa de Cohen prend en compte le fait que les deux évaluateurs ont mesuré ou non la même chose, mais il ne prend pas en compte le degré de désaccord. Que se passe-t-il si vous n'avez pas de variable nominale, mais une variable ordinale?

Si vous avez une variable ordinale, c'est-à-dire une variable dans laquelle les caractéristiques peuvent être ordonnées, vous voulez bien sûr tenir compte de cet ordre.

Disons que vos expressions sont insatisfaites, neutres et satisfaites. Il y a une plus petite différence entre insatisfait et neutre qu'entre insatisfait et satisfait. Si vous voulez prendre en compte la taille de la différence, vous devez utiliser le Kappa de Cohen pondéré.

Par conséquent, si vous avez une variable nominale, vous utilisez le Kappa de Cohens. Si vous avez une variable ordinale, vous utilisez le kappa de Cohen pondéré.

Fiabilité et validité

Il est important de noter qu'avec le kappa de Cohens pondéré, vous ne pouvez faire qu'une déclaration sur la fiabilité avec laquelle les deux évaluateurs mesurent la même chose. Mais vous ne pouvez pas dire si ce que les deux évaluateurs mesurent est la bonne chose!

Ainsi, si les deux évaluateurs mesurent presque toujours la même chose, le coefficient Kappa de Cohen pondéré est très élevé. Le Kappa de Cohen pondéré ne vous dit pas si cette valeur mesurée correspond à la réalité, donc si la mesure est correcte! Dans le premier cas, on parle de la fiabilité. Dans le second cas, on parle de validité.

Calcul du Kappa de Cohen pondéré

Comment calcule-t-on le Kappa de Cohen pondéré? Supposons que deux médecins aient évalué leur degré de satisfaction quant au succès thérapeutique de leurs patients. Les médecins peuvent répondre par insatisfait, neutre et satisfait.

Vous voulez maintenant connaître l'importance de l'accord entre les deux médecins. Puisque nous avons ici une variable ordinale avec l'ordre de classement insatisfait, neutre et satisfait, nous déterminons l'accord avec le Kappa de Cohens pondéré.

Dans un premier temps, nous créons un tableau avec les fréquences des réponses respectives. Pour ce faire, nous plaçons un évaluateur sur chaque axe. Nous avons ici nos deux évaluateurs, qui ont chacun indiqué s'ils étaient insatisfaits, neutres ou satisfaits du succès d'une personne.

Disons qu'un total de 75 patients ont été évalués. Maintenant, comptons combien de fois chaque combinaison se produit. Disons que 17 fois les deux évaluateurs ont répondu insatisfait, 8 fois l'évaluateur 1 a répondu insatisfait et l'évaluateur 2 a répondu neutre, 4 fois l'évaluateur 1 a répondu insatisfait et l'évaluateur 2 a répondu satisfait et ainsi de suite. Pour les notes qui se trouvent sur la diagonale, les deux évaluateurs sont d'accord.

Le Kappa de Cohen pondéré peut être calculé à l'aide de la formule suivante:

Où w sont les facteurs de pondération, fo sont les fréquences observées, et fe sont les fréquences attendues. Au lieu des fréquences, nous pouvons également utiliser les probabilités calculées, c'est-à-dire les probabilités observées po et les probabilités attendues pe.

Nous avons déjà calculé les fréquences observées. Si nous ne calculions pas avec les fréquences mais avec les probabilités, nous calculerions simplement chaque fréquence par le nombre de patients, c'est-à-dire 75, et nous aurions alors les probabilités observées.

Mais nous avons encore besoin des poids et des fréquences attendues. Commençons par les fréquences attendues.

Calculer la fréquence attendue

Pour calculer la fréquence attendue, nous commençons par calculer les sommes des lignes et des colonnes. Nous additionnons donc toutes les lignes et toutes les colonnes.

Par exemple, dans la première ligne, nous obtenons une somme de 29 avec 17 + 8 + 5. Nous divisons maintenant cette somme par 75 du nombre total de cas.

Nous pouvons maintenant calculer la probabilité attendue pour chaque cellule en multipliant la probabilité de la ligne par celle de la colonne. Ainsi, pour la première cellule, nous obtenons 0,35 fois 0,39, ce qui est égal à 0,13, et pour la deuxième cellule, nous obtenons 0,44 fois 0,39, ce qui est égal à 0,17.

Maintenant, si nous multiplions chaque probabilité par 75, nous obtenons les fréquences attendues.

Calculer la matrice de pondération

Si nous n'utilisions aucune pondération, notre matrice serait composée uniquement de uns et de zéros dans la diagonale. Si les deux évaluateurs ont répondu de la même manière, il y aurait zéro dans les cellules, sinon un. L'écart entre les réponses des évaluateurs n'a pas d'importance, s'ils ont répondu quelque chose de différent, la pondération est de 1.

La matrice de pondération linéaire peut être calculée à l'aide de la formule suivante. Soit i l'indice pour les lignes et j pour les colonnes. K est le nombre d'expressions, donc dans notre cas 3.

Donc maintenant, les scores qui sont proches les uns des autres sont moins pondérés que les scores qui sont éloignés les uns des autres.

Qu'en est-il de la pondération quadratique? Si nous utilisons la pondération quadratique au lieu de la pondération linéaire, les distances sont simplement élevées au carré. De cette façon, les scores très éloignés sont encore plus fortement pondérés par rapport aux scores proches que dans le cas linéaire. La matrice de pondération est alors obtenue avec la matrice suivante.

Avec cela, nous pouvons maintenant décider de ne pas utiliser de pondération, d'utiliser la pondération linéaire ou la pondération quadratique. Nous continuons simplement à calculer avec la pondération linéaire.

Calculer le kappa pondéré

Nous pouvons maintenant calculer le kappa pondéré. Nous avons la matrice de pondération, la fréquence observée et la fréquence attendue. Commençons par la somme ici. Nous multiplions simplement chaque cellule de la matrice de pondération par la cellule respective de la fréquence observée et nous additionnons le tout. Donc 0 fois 17 + 0,5 fois 8 pour finalement 0 fois 9.

Nous faisons maintenant la même chose avec la matrice de pondération et la fréquence attendue. 0 fois 10,05 + 0,5 fois 12,76 pour finalement obtenir 0 fois 3,84. Si nous calculons maintenant tout, nous obtenons un kappa pondéré de 0,396 avec ceci.

Calculer le kappa pondéré de Cohen avec DATAtab

Pour calculer le kappa pondéré de Cohen en ligne, il suffit d'aller dans la calculatrice de statistiques, de copier vos propres données dans ce tableau et de cliquer sur l'onglet Fiabilité.

DATAtab essaie automatiquement d'attribuer le niveau d'échelle approprié aux données, dans ce cas DATAtab suppose qu'il s'agit de données nominales. Si nous cliquions sur Rater 1 et Rater 2, DATAtab calculerait le Kappa de Cohens normal non pondéré. Dans notre cas, cependant, ce sont des variables ordinales. Nous changeons donc simplement le niveau de l'échelle en ordinal.

Si nous cliquons maintenant sur les deux évaluateurs, le kappa de Cohens pondéré est calculé. Nous pouvons maintenant choisir si nous voulons une pondération linéaire ou quadratique. Nous voyons ici le tableau croisé, qui nous montre combien de fois les combinaisons respectives se produisent. Ensuite, nous obtenons les résultats pour le Kappa de Cohens. Avec ces données, nous obtenons un Kappa de Cohens pondéré de 0,05.

Si vous ne savez pas exactement comment interpréter les résultats, vous pouvez simplement cliquer sur Résumé en mots: Une analyse de la fiabilité inter-juges a été réalisée entre les échantillons dépendants Rater1 et Rater2. Pour cela, le Kappa de Cohens pondéré a été calculé, ce qui est une mesure de l'accord entre deux échantillons catégoriels liés. Le Kappa de Cohens pondéré a montré qu'il y avait un accord modéré entre les échantillons Rater1 et Rater2 avec κ= 0.5.