Hilfe bei Interklassen Korrelationen

[xr-town-juniorx]

Hallo zusammen,

ich habe ein Problem bei meiner Masterarbeit mit Interklassen-Korrelationen.
Insgesamt hab ich 10 Objekte und drei Beobachter und möchte die Übereinstimmung messen.
2 Objekte wurden von allen drei Beobachtern bewertet. Die anderen acht Objekte wurden nur von zwei Beobachtern bewertet.
Nun habe ich in einiger Forschungsliteratur gelesen, dass ich Interklassen-Korrelationen zur Bestimmung der Beurteiler-Reliablität verwenden kann.
Ich soll die oneway random Einstellung verwenden (da nicht alle Beobachter alle Objekte bewertet haben).
Nun schließt spss bei meinen Analysen die Fälle listenweise aus, bei denen Werte fehlen. Somit werden nur zwei Datenreihen zur Analyse herangezogen.

Frage A: Weiß jemand, wie ich alle Werte einbeziehen kann?
Eine Schätzung fehlender Werte macht aus meiner Sicht keinen Sinn, da es sich um eine sehr kleine Stichprobe handelt.

Frage B: Wäre es auch möglich statt drei Beobachtern zwei zu verwenden (die Werte von zwei Beobachtern zu einem zusammen zu schmeißen)?

Ich wäre sooooo froh wenn jemand eine Antwort hätte..

Liebe Grüße,
Simon

[dutchie]

Hallo
xr-town-jhdhf (sorry)

du gehst über SPSS skalieren --> reliabiltätsanalyse --> Statistik zu KoKo in Klassen?
Es werden nur zwei Objekte, die mit drei ratern herangezogen?
Dir fehlen 8 Werte von 30 möglichen?
die fehlenden Werte sind nicht abhängig von einem bestimmten rater,
z.b. rater 1 macht 8 Objekte, rater2 macht 7 und rater 3 macht auch 7
dann fehlen 8 werte...die fehlenden sind verstreut..?
du kennst das was bei Wiki steht, oder? Bei ICC(1.1) wohl dein Fall..das heißt ja nicht, das der ICC dann alle gültigen werte mit einschließ!
da weiß ich gerade keine Antwort, muss ich überlege?
Ich kenn mich mit dem ICC Zeugs eh nicht so gut ausm muss ich mal selber rechnen...aber heut nicht mehr..
aber wenn Werte fehlen dann fehlen sie, aber es ist richtig, dass bei deinem Fall, nur 6 Werte in die Analyse eingehen, nur die vollständigen.

Mal eine andere perspektive, was ist wichtig die feststellung der Übereinstimmung, oder die Beurteilung des Objektes?

so weit
gruß
dutchie

[dutchie]

hallo

Mir schein das mit den Mittelwerten...
wird bei dir jedes Objekt von einem rater nur einmal bewertet?

gruß

[dutchie]

hallo
mir schein das bei WIKI ist missverständlich formuliert. Es klingt so als ob der ICC(1,1)
deine Fall (dropout) mit einschließt, abdeckt, möglich macht... dem ist nicht so.
Es werden nur vollständige Fälle in die Analyse einbezogen.

was bleibt..
du machst einfach drei ICC,je einen zwischen 1-2 1-3 und 2-3. fertig.
damit hast du alle Info, die da ist mit einbezogen.
Meinetwegen kannst du die auch mitteln, hast aber keinen Signifikanztest dafür.

gruß
dutchie

[xr-town-juniorx]

Hallo dutchie,

viele Dank für deine Antwort.
Ich glaube leider auch, dass bei ICC leider nur komplette Fälle listenweise einbezogen werden können.

Problem ist jedoch, dass ich bei Einzelanalysen (1-2 (N=4); 1-3 (N=4); 2-3 (N=2) zu viele fehlende Werte habe. Es sind nicht nur 8.
Ein Beobachter schätzt jeden Wert nur einmal ein. Es handelt sich nicht um MW.

Mein Datenblatt sieht folgender Maßen aus:

ID Beobachter A Beobachter B Beobachter C
1 2 3 1
2 3 4 2
3 2 1
4 5 2
5 2 4
6 1 1
7 2 2
8 1 2
9 4 3
10 5 4

Wäre es aus deiner Sicht mögich Beobachter B und C zusammenzufassen?
Inhaltlich könnte ich das verkraften. Es geht bei mir nicht darum Aussagen über einzelne Beobachter zu machen,
sondern die allgemeine Güte der Bewertung zu bestimmen.

Liebe Grüße,
Simon

[xr-town-juniorx]

Shit mir hat es mein Datenblatt verhauen!!

Also:

Es gibt IDs von 1 bis 10.
Beobachter A hat 1 bis 10 bewertet.
Beobachter B hat 1 bis 6 bewertet.
Beobachter C hat 1 und 2 bewertet und 7 bis 10.

[dutchie]

hallo
ach , das ist wieder so ein ding

na dann hat ja A,B - 6 Fälle gemeinsam
A,C - 5 Fälle
B,C - 2 Fälle
D.h. die gemeinsamkeit von rater B und C wird nur aufgrund von zwei ratings beurteilt.

warum fehlen die Fälle eigentlich, weiß man das ?
Der punkt ist eigentlich, ab welchem ICC werden die ratings gemittelt
kann ich einen "objektiven" Wert auf basis der drei rater festlegen?
oder ist differenz der ratings zu groß.
Du ziehst die drei ICC eiskalt durch.hast dann eine signifikanz, die wird bei wenigen gemeinsamen rating auch eher nicht sig.
d.h die sig. der ICCs ist nicht zu vergleichen, die höhe aber schon..
warum willst du B und C zusammenfassen, damit die lücken verschwinden?
dann eine ICC bestimmst zwischen A und mittelwert(B,C)

Es geht bei mir nicht darum Aussagen über einzelne Beobachter zu machen,
sondern die allgemeine Güte der Bewertung zu bestimmen.

d,h, du mittelst auf jeden Fall..
Ja mach das so zuerst die drei paarweisen ICC, dann mittelst du B und C ( der mittelwert hat dann meistens nur einer Zahl, im Fall 1und 2 aus zwei werten)
Was besseres fällt mir auch nicht ein. Das ganze nennst du dann die xr-town-juniorx stepwise aggregation of dropout biased ICC (Ergängung WIKI ICC Variante: ICC(17,34) )
Wenn du gewußt hättest, dass das berühmt wird, hättest du dich wohl anders genannt
Mach das, es wird dabei ja keiner verletzt.

gruß
dutchie