ich hätte eine Frage bzgl. Interrater-Reliabilität.
Ich möchte diese für meinen Datensatz gerne berechnen und bin mir unsicher, mit welcher Methode ich das in meinem Fall machen muss.
Und zwar haben vier Personen das Verhalten einer anderen Person beurteilt (alle vier haben die gleiche Person beurteilt). Die Beurteilung erfolgte anhand von 24 Items mit einer Skala von 0 bis 5 ("stimme überhaupt nicht zu", "stimme voll und ganz zu"). Hierfür möchte ich nun die Interrater-Reliabilität berechnen. Ich hätte das mit Hilfe von Fleiss' Kappa gemacht.
Allerdings habe ich nun nochmal andere Literatur dazu gefunden. Da lese ich raus, dass man Kappa nur benutzt, wenn es sich um nominalskalierte Daten handelt. Wenn es sich um intervallskalierte Daten handelt, berechnet man die Interrater-Reliabilität demnach anders (mit einem anderen Intraklassen-Korrelationskoeffizienten). Da ich eine Ratingskala verwendet habe und diese oft als Intervallskala behandelt wird, habe ich nun rausgelesen, dass Fleiss' Kappa in meinem Fall nicht geeignet ist.
Nun bin ich etwas verwirrt. Wie würdet ihr in meinem Fall und mit meiner Skala die Interrater-Reliabilität berechnen?
Bitte habt etwas Nachsicht mit mir, ich bin absoluter Statistikneuling.
Besten Dank schon im Voraus!
