ICC: zwei Reliabilitäten auf Signifikanz prüfen

[*Leni*]

Hallo Ihr,

ich habe im Rahmen meiner Diplomarbeit folgendes Problem:

Mein Design sieht wie folgt aus; ich habe 4 Rater, die auf 16 Items die Manualtreue von Therapeuten (n=30) eingeschätzt haben.
Dabei lassen sich die 4 Rater nochmal in 2 Gruppen unterteilen (Gruppe 1: Rater 1&2, Studenten und Gruppe 2: Rater 3&4, Therapeuten).
Fragestellung ist, ob sich die Bewertung der Manualtreue unterscheidet, je nach Qualifikation des Raters (also ob Studis das genauso reliabel raten können wie erfahrene Therapeuten).

In einem ersten Schritt habe ich die Reliabilitäten in Gruppe 1 und in Gruppe 2 bestimmt, mit dem ICC (auf allen 16 Items).
Nun habe ich also für Gruppe 1 16 r² und für Gruppe 2 16 r².
Nun will ich über die Gruppen die ICCs auf signifikante Unterschiede untersuchen.

Ob sich die Gruppen in ihrem Rating also signifkant unterscheiden.

Ich habe da bisher eine MANOVA gerechnet (eine UV: die Gruppenzugehörigkeit der Rater und mehrere AVs: die 16 Items des Ratingbogens), aber die kann aufgrund der geringen Varianz der AVs (mit Werten von 0 bis 1) keine Signifkanzen berechnen.

Hat jemand einen Vorschlag, mit welchem Verfahren man zwei Reliabilitäten auf Signifikanz unterscuhen kann?

Vielen Dank!

[KarinJ]

frage ist:

Ob sich die Gruppen in ihrem Rating also signifkant unterscheiden.

demensprechend würde ich nur einen t-test ggf. u-test zwischen den beiden über die rater gemittelten ratings der beiden rater-gruppen rechnen, mit jeweils 1 item als av. ggfs. würde man noch einen summenwert aller items bilden und diesen als av verwenden.

ob die eine gruppe reliabler urteilt als die andere, ist eine kompliziertere frage. man müßte sich erstmal überlegen, was für eine reliabilität man meint.

einerseits könnte man die ICCs der gruppen im vergleichen wollen - im bortz (2006) werden verfahren zum vergleich von pearson-korrelationskoeffizienten beschrieben. da die koeffizienten in z-werte umgewandelt werden, denke ich, die verfahren sollten auf alle arten von korrelationskoeffizienten anwendbar sein.

andererseits könnte auch eine validierung gemeint sein: welche gruppe kommt näher an den wahren wert der manual-treue heran? dazu bräuchte man dann ein kriterium, an dem beide gruppen gemessen werden.

übrigens ist ICC für intervallskalierte daten gedacht. wenn die AV zwischen 0 und 1 variiert und somit dichotom wäre, dann wäre ICC nicht angemessen.

[*Leni*]

Hallo!

Also meine AVs sind intervallskaliert ICC ist also richtig.

Nein, eine Validierung strebe ich nicht an, das war zwar anfänglich mal eine theoretische Überlegung lässt sich aber aus mehreren Gründen (leider) nicht umsetzen!

demensprechend würde ich nur einen t-test ggf. u-test zwischen den beiden über die rater gemittelten ratings der beiden rater-gruppen rechnen, mit jeweils 1 item als av. ggfs. würde man noch einen summenwert aller items bilden und diesen als av verwenden.

Okay, den t-Test (bzw. in meinem Fall glaube ich besser ein U-Test, weil ich ja in dem Sinne keine Populationsmittel- und erwartungswerte habe) hatte ich zwischenzeitlich auch schon im Sinn - habe es bisher aber noch nicht gerechnet gehabt.

im bortz (2006) werden verfahren zum vergleich von pearson-korrelationskoeffizienten beschrieben.

Dann werd ich mir das auch nochmal anschauen, klingt ja, als wäre es in meinem Fall anwendbar!

Vielen, vielen Dank!