Коэффициент Каппа Коэна — это статистика, которая измеряет межрегиональное согласие для качественных (категориальных) предметов. Обычно считается, что это более надежная мера, чем простой расчет соглашения о процентах, поскольку k учитывает случайное соглашение. Каппа Коэна измеряет соглашение между двумя оценщиками, каждый из которых классифицирует N предметов на C взаимоисключающих категорий.
Коэффициент Каппа Коэна определяется и задается следующей функцией:
формула
k= fracp0−pe1−pe=1− frac1−po1−pe
k= fracp0−pe1−pe=1− frac1−po1−pe
Где —
-
p0 = относительное наблюдаемое согласие между оценщиками.
-
pe = гипотетическая вероятность случайного соглашения.
p0 = относительное наблюдаемое согласие между оценщиками.
pe = гипотетическая вероятность случайного соглашения.
p0 и pe вычисляются с использованием наблюдаемых данных, чтобы вычислить вероятности каждого наблюдателя, произвольно говоря каждой категории. Если оценщики полностью согласны, тогда k = 1. Если среди оценщиков нет согласия, отличного от того, что можно было бы ожидать случайно (как указано в pe), k ≤ 0 ,
пример
Постановка задачи:
Предположим, что вы анализировали данные, относящиеся к группе из 50 человек, подающих заявку на грант. Каждое грантовое предложение было прочитано двумя читателями, и каждый читатель либо сказал «Да», либо «Нет». Предположим, что данные подсчета разногласий были следующими: где A и B — считыватели, данные по диагональному наклону влево показывают количество соглашений и данные по диагональному наклону вправо, разногласия:
В | |||
---|---|---|---|
да | нет | ||
да | 20 | 5 | |
нет | 10 | 15 |
Рассчитайте коэффициент Каппа Коэна.
Решение:
Обратите внимание, что было предложено 20 предложений, которые были предоставлены как читателем A, так и читателем B, и 15 предложений, которые были отклонены обоими читателями. Таким образом, наблюдаемое пропорциональное согласие
p0= frac20+1550=0,70
p0= frac20+1550=0,70
Чтобы вычислить pe (вероятность случайного согласия), отметим, что:
-
Читатель А сказал «Да» 25 заявителям и «Нет» 25 заявителям. Таким образом, читатель А ответил «Да» в 50% случаев.
-
Читатель B сказал «Да» 30 заявителям и «Нет» 20 заявителям. Таким образом, читатель Б сказал «Да» в 60% случаев.
Читатель А сказал «Да» 25 заявителям и «Нет» 25 заявителям. Таким образом, читатель А ответил «Да» в 50% случаев.
Читатель B сказал «Да» 30 заявителям и «Нет» 20 заявителям. Таким образом, читатель Б сказал «Да» в 60% случаев.
Используя формулу P (A и B) = P (A) x P (B), где P — вероятность наступления события.
Вероятность того, что они оба случайно скажут «Да», равна 0,50 х 0,60 = 0,30, а вероятность того, что они оба скажут «Нет», равна 0,50 х 0,40 = 0,20. Таким образом, общая вероятность случайного согласия составляет pe = 0,3 + 0,2 = 0,5.
Итак, теперь, применяя нашу формулу для каппа Коэна, мы получаем:
k= fracp0−pe1−pe= frac0.70−0.501−0.50=0,40