Ich habe ein Beobachtungsinstrument, wo verschiedene Items und Skalen erhoben worden sind (Ordinaldaten-Niveau). 10 Personen sind von 3 Beobachtern erfasst worden, dort würde ich gerne die Beobachterübereinstimmung berechnen.
Soweit ich das verstanden habe (zugegeben, bei wikipedia stand es so), ist bei mehr als zwei Beobachtern und Ordinaldatenniveau Kendall-W zu empfehlen. Wenn ich dort aber z.B. Item1-Rater1 Item1-Rater2 Item1-Rater3 durchlaufen lasse, erhalte ich stets sehr kleine Kendall-W (0,03 oder 0,1), die allesamt nicht mal annähernd signifikant sind. Nun gut, die Stichprobe ist ja auch klein.
Was mich daran nur "ärgert" ist, dass wenn ich einen ICC durchlaufen lasse, sind diese bei den gleichen Items sehr, sehr hoch (allesamt über ,9 - aus den reinen Daten lässt sich auch ablesen, dass die Beobachterübereinstimmung sehr hoch sein müsste). Aber ICC's kann man doch nur bei intervallskalen-Niveau verwenden?
Was mache ich falsch oder was kann ich machen/angeben?
Liebe Grüße
Jenni
