Fragen und Diskussionen rund um die Arbeit mit SPSS. Für allgemeine Statistik-Themen, die nicht mit SPSS zusammenhängen, bitte das Statistik-Forum nutzen.
Ich möchte mit SPSS 17.0 die Interrater-Variabilität mit Fleiss-Kappa über 3 Befunder bestimmen.
1. Wie gebe ich das im Feld Crosstabs ein?
Bild
Wenn ich es so wie auf dem Bild eingebe, bekomme ich eine komische Kappa-Tabelle mit folgender Fehlermeldung:
"a. Die Kappa-Statistik kann nicht berechnet werden. Sie benötigt eine symmetrische 2-Wege-Tabelle, in der die Werte der ersten Variable mit den Werten der zweiten Variable übereinstimmen."
Bild
Ich habe jedoch für alle 3 Tabelle nie gleichen Klassen!
p.s.: ich seh gerade, dass fleiss-kappa für mehr als 2 beurteiler berechnet wird, während ich von cohens-kappa ausgegangen bin. spss bietet nur "kappa" an ohne weitere erklärung. ich habe es mal mit einer geschichteten kreuztabelle (3 variablen) ausprobiert, komme aber leider momentan auch nicht dahinter.
a. Die Kappa-Statistik kann nicht berechnet werden. Sie benötigt eine symmetrische 2-Wege-Tabelle, in der die Werte der ersten Variable mit den Werten der zweiten Variable übereinstimmen.
ich habe 2 Rater (Variable1 und 2) 99Personen (Fälle) und Werte zwischen 0-40
wäre wirklich super, wenn jemand wüsste wo das problem liegt!
Vielleicht muss man in der Variablenansicht etwas eingeben oder so?
das Kappa in SPSS steht, soviel ich weiß, nur für Cohen's Kappa (Fleiss Kappa gehört nicht zu den von SPSS angebotenen Standardberechnungen). Cohen's Kappa verlangt danach, dass jeder Rater die gleiche Anzahl von Kategorien verwendet hat, was bei Werten zwischen 0 und 40 schwierig sein dürfte. Das ist wahrscheinlich auch ein Grund, weshalb die Berechnung nicht funktioniert. Außerdem ist Kappa nur für Nominaldaten gedacht, was ja höchstwahrscheinlich bei deinen Werten nicht der Fall ist (es sei denn du hast 41 Kategorien, die alle etwas anderes bedeuten und die nicht die Ausprägung eines bestimmten Merkmals messen).
Ich würde in deinem Fall Kruskal-Wallis H berechnen. Das geht für mehr als 2 Rater und gilt für Daten ab Ordinalniveau.
ich würde gerne die Interrater-Reliabilität berechnen, habe 2 Rater, die Eigenschaften von Personen beurteilen für die Punkte zw. 0-4 vergeben werden, die Summe daraus ist 0-40.
wahrscheinlich müsste ich dann jede eigenschft als kategorie sehen und hätte dann 10 Kategorien/Person, also wären die Fälle Personen x 10?
erscheint mir alles recht komplex, welches Maß könnte ich außer Kappa verwenden, das von dir genannte?
Kannst du mir vielleicht auch den UNterschied zw. Interrater-Reliabilität -und Variabilität erklären.
sorry, dachte, dass du diesen Beitrag hier eröffnet hattest und war deswegen etwas verwirrt, als du plötzlich nur noch was von 2 Ratern geschrieben hast. Deshalb hatte ich anfangs den Kruskal-Wallis Test erwähnt.
Zu deinem Problem: Ich würde kein Übereinstimmungsmaß mit den Summenwerten berechnen.
Der Grund ist folgender: Nehmen wir mal an Rater 1 hat eine Person hinsichtlich der zehn von dir erfassten Merkmale beurteilt und vergibt nach seiner Einschätzung jeweils 4 Punkte für die ersten fünf Merkmale jedoch jeweils null Punkte für die zweiten fünf. Rater 2 kommt genau zu dem umgekehrten Urteil. Er bewertet die ersten fünf Eigenschaften mit null Punkten, die Ausprägung der zweiten fünf jedoch mit jeweils 4 Punkten. Beide Rater haben demnach insgesamt 20 Punkte vergeben und kämen, wenn man nur den Summenwert betrachtet, zur exakt gleichen Einschätzung. Tatsächlich liegt aber bei keinem der 10 Merkmale eine Übereinstimmung vor, sondern das Gegenteil. Du solltest also nur auf der Eigenschaftsebene Übereinstimmungsmaße zu berechnen.
Deine Daten würden dann entweder Cohen's Kappa zulassen oder auch eine Korrelation auf Ordinaldatenniveau (Spearman rho oder Kendall's Tau b)
Zu deiner letzten Frage: Die Interrater-Variabilität ist bei hoher Interrater-Reliabilität (also großer Übereinstimmung) recht klein und bei geringer Reliabilität groß, da die Einschätzungen beider Rater dann stärker variieren.
