Das Kefk Network Wiki befindet sich im Testbetrieb.

Cohens Kappa

Aus Kefk.

Wechseln zu: Navigation, Suche

Cohens Kappa ist ein statistisches Maß für die Interrater-Reliabilität von Einschätzungen zweier Rater, das Jacob Cohen 1960 vorschlug.

Die Gleichung für Cohens Kappa lautet

\kappa =\frac{p_0-p_c}{1-p_c}

wobei p0 der gemessene Übereinstimmungswert der beiden Schätzer und pc die zufällig erwartete Übereinstimmung ist. Wenn die Rater in allen ihren Urteilen übereinstimmen, ist κ = 1; sofern sich nur zufällige Übereinstimmungen zwischen den beiden Ratern feststellen lassen, nimmt es einen Wert von κ < = 0 an. Greve und Wentura (1997, S. 111) berichten von verschiedenen Einschätzungen hinsichtlich des κ-Wertes. Als Resümee lässt sich festhalten, dass κ-Werte von .40 bis .60 vielleicht noch annehmbar sind, aber Werte unter .70 mit etwas Skepsis betrachtet werden sollten. Interrater-Reliabilitätswerte von κ>=.75 scheinen gut bis ausgezeichnet.

Inhaltsverzeichnis

Nominalskalen

Wenn lediglich Übereinstimmungen und Nicht-Übereinstimmungen zwischen den beiden Ratern abgeprüft werden, fallen alle auftretenden Beurteilungsunterschiede gleich ins Gewicht. Dies ist insbesondere bei Nominalskalen sinnvoll. Dabei kann das Datenmaterial (also die Urteilshäufigkeiten h) bei einem Item oder Merkmal mit z (nominalen) Kategorien Kat von beiden Einschätzern in einer zxz Kontingenztafel (also mit z Zeilen und z Spalten) abgetragen werden:

  Rater B Randhäufigkeiten hi.
Rater AKat1...Katz\sum
Kat1h11...h1zh_{1.}=\sum_i^z h_{1i}
.......
.......
.......
Katzhz1...hzzh_{z.}=\sum_i^z h_{zi}
Randhäufigkeiten h.ih_{.1}=\sum_i^z h_{i1}...h_{.z}=\sum_i^z h_{iz}\sum \sum = N

Dann gilt für den Anteil der übereinstimmenden Einschätzungen der Rater (=Mitteldiagonale der Kontingenztafel) p0:

p_0 = \frac {\sum_{i=1}^z h_{ii}} {N}.

Für die erwarteten Übereinstimmungen werden die Produkte der Randsummen (=Zeilensumme x Spaltensumme) einer Kategorie Kat aufsummiert und schließlich ins Verhältnis zum Quadrat der Gesamtsumme gesetzt:

p_c = \frac {1}{N^2} \cdot \sum_{i=1}^z {h_{i.} \cdot h_{.i}}.

Scott (1955) schlug für seinen <Koeffizienten π, der nach derselben Ausgangsformel wie κ berechnet wird, vor, die erwarteten Übereinstimmungen wie folgt zu bestimmen:

p_c = \frac {1}{N^2} \cdot \sum_{i=1}^z {(\frac {h_{i.} \cdot h_{.i}}{2})^2}.

Sofern die Randverteilungen unterschiedlich sind, ist Scotts π immer größer als Cohens κ.

Mehrfachstufung der Meßobjekte

Sind die Rater aber aufgefordert, die Schätzobjekte mehrfach zu stufen (d.h. statt der k nominalen Kategorien geht es nun um Abstufungen und kann für diese Abstufungen mindestens ein Ordinal-Skalenniveau angenommen werden), sollten aber diskonkordant größere Abweichungen der Rater voneinander stärker ins Gewicht fallen als kleinere Abweichungen. In diesem Fall sollten ein gewichtetes Kappa berechnet werden, bei dem für jede Zelle ij der Kontingenztafel ein Gewichtungsfaktor vij definiert wird, das sich z.B. daran orientieren könnte, wie groß die Abweichung von der Mitteldiagonalen ist (z.B. als quadrierte Abweichungen Mitteldiagonalzellen=0, Abweichungen um 1 Kategorie=1, Abweichungen um 2 Kategorien=22=4 usw.). Dann gilt für dieses (gewichtete) Kappa (vgl. Bortz 1999):

\kappa = 1 - \frac {\sum_{i}^z \sum_{j}^z v_{ij} \cdot h_{ij}}{\sum_{i}^z \sum_{j}^z v_{ij} \cdot \frac {h_{i.}\cdot h_{.j}}{N}}


Literatur und Quellen

  • Cohen, J. (1960). A coefficient of agreement for nominal scales, Educational and Psychological Measurement, 20, 37-46.
  • Cohen, J. (1968) Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70, 213-220.
  • Fleiss, J. L. (1981) The measurement of interrater agreement. In: ders., Statistical methods for rates and proportions, 2ed (S. 212-236, Kapitel 13). New York: John Wiley & Sons.
  • Scott, W. A. (1955). Reliability of content analysis: The case nominal scale coding. Public Opinion Quarterly, 19, 321-325.
  • Bortz, J., Lienert, G. A. & Boehnke, K. (1990). Verteilungsfreie Methoden in der Biostatistik, Kap. 9. Berlin: Springer.
  • Bortz, J. (1999). Statistik für Sozialwissenschaftler (5. Aufl.), Berlin: Springer.
  • Greve, W. & Wentura, D. (1997). Wissenschaftliche Beobachtung: Eine Einführung. Weinheim: PVU/Beltz.

Weblinks

Wikipedia
 Dieses Dokument entstammt in seiner ersten oder einer späteren Version der deutschsprachigen Wikipedia. Es ist dort zu finden unter dem Stichwort Cohens_Kappa, die Liste der bisherigen Autoren befindet sich in der Versionsliste; die Originalfassung kann dort auch bearbeitet werden. Alle Texte der Wikipedia und ihre Derivate stehen unter der GNU-Lizenz für freie Dokumentation.
Von „http://kefk.org/wiki/Cohens_Kappa“
Persönliche Werkzeuge
Andere Sprachen