sklearn.metrics.cohen_kappa_score

sklearn.metrics.cohen_kappa_score()

Kappa de Cohen: estadística que mide el acuerdo entre anotadores.

Esta función calcula el Kappa de Cohen [1], una puntuación que expresa el nivel de acuerdo entre dos anotadores en un problema de clasificación. Se define como

\[\kappa = (p_o - p_e) / (1 - p_e)\]

donde \(p_o\) es la probabilidad empírica de concordancia en la etiqueta asignada a cualquier muestra (el ratio de acuerdo observado), y \(p_e\) es la concordancia esperado cuanda ambos anotadores asignan etiquetas al azar. \(p_e\) se estima usando un prior empírico por anotador sobre las etiquetas [2].

Más información en el Manual de usuario.

Parámetros

y1arreglo de forma (n_samples,)

Etiquetas asignadas por el primer anotador.

y2arreglo de forma (n_samples,)

Etiquetas asignadas por el segundo anotador. La estadística kappa es simétrica, así que intercambiar y1 y y2 no cambia el valor.

labelsarray-like de forma (n_classes,), default=None

Lista de etiquetas para indexar la matriz. Esto puede utilizarse para seleccionar un subconjunto de etiquetas. Si es None, todas las etiquetas que aparecen al menos una vez en y1 o y2 son usadas.

weights{“linear”, “quadratic”}, default=None

Tipo de ponderado para calcular el puntaje. None significa sin ponderado; «linear» significa ponderado lineal; «quadratic» significa ponderado cuadrático.

sample_weightarray-like de forma (n_samples,), default=None

Ponderados de muestras.

Devuelve

kappaflotante

La estadística kappa, que es un número entre -1 y 1. El valor máximo significa concordancia total; cero o menor significa acuerdo por azar.

Referencias

1

J. Cohen (1960). «A coefficient of agreement for nominal scales». Educational and Psychological Measurement 20(1):37-46. doi:10.1177/001316446002000104.

2

R. Artstein and M. Poesio (2008). «Inter-coder agreement for computational linguistics». Computational Linguistics 34(4):555-596.

3

Entrada de Wikipedia para el kappa de Cohen.