Interrater-Reliabilität für einzelne Items, kategorial

[Ann1.0]

Hallo Alle,
schon einmal vielen Dank für eure Hilfe.
Ich habe folgende Frage: Ich lasse ca. 100 Items von 5 Beobachtern in jeweils eine von sechs Kategorien einteilen. Das Skalenniveau ist also Nominalskala. Danach möchte ich für jedes Item entscheiden zu welcher Kategorie es am wahrscheinlichsten passt. Wie gut es passt würde ich gerne mit einem statistischen Kennwert angeben. Items, die nicht gut in eine Kategorie passen sollen dann nämlich aussortiert werden.

Eine Tabelle könnte folgendermaßen aussehen:

________Person 1__Person 2__Person 3__Person 4__Person 5__Beurteilerübereinstimmung____Kategorie
Item 1______1_______6________1________1________2______________??_________________1? oder keine?
Item 2______3_______4________3________3________3______________??_________________3
Item 3______5_______2________2________5________4______________??_________________2 oder 5 -> keine
Item 4______1_______1________1________1________1____________100%??_______________1
...

In dem Fall würde ich Item 2 und 4 auf jeden Fall aufnehmen. Item 3 wird auf jeden Fall rausgeschmissen. Bei Item 1 weiß ich es nicht genau (vielleicht gibt es einen Normwert dafür?).
Das Ziel soll letztendlich die Zuordnung von Items zu übergeordneten Faktoren für einen Fragebogen sein.

[dutchie]

hallo Ann1.0

nominal heißt, das der unterschied zwischen 1 und 5
grauso groß ist wie zwischen 1 und 2, richtig?
glaube da aber irgendiwe nicht dran
dann wären die Faktoren des fragbogens unkorreliert!

man kann eventuell das informationsmaß h als
maß der Varianz heranziehen, bei item1 wäre h =0
bin mir aber nicht sicher ob dass bei k=6 und n=5 sinn macht
oder du zählst einfach wie oft gleicheit vorliegt

item1 hätte dann 3
item 2 hätte 4
item3 2
item 4 5
item 5 mit 1 2 3 4 5 hätte dann 1

ob ein item teil des fragebogens wird kann doch nicht nur aufgrund des
ratings erfolgen! wichtig ist auch zu wie schwer das item ist?

so weit so gut
dutchie

[Ann1.0]

Hey Dutchie,
danke für deinen Antwortversuch - ich versuche mal eine Antwort

nominal heißt, das der unterschied zwischen 1 und 5 grauso groß ist wie zwischen 1 und 2, richtig?
glaube da aber irgendiwe nicht dran
dann wären die Faktoren des fragbogens unkorreliert!

Jein. Es sind einfach verschiedene Kategorien, das heißt der Abstand zwischen ihnen ist nicht definiert. Das bedeutet aber nicht unbedingt, dass die Faktoren unkorreliert sind. Tatsächlich gehe ich davon aus, dass sie alle etwas miteinander korrelieren, da sie gemeinsam in meinem Fall pychopathologische Symptome erfassen. Aber Faktor 1 und 2 stehen sich nicht näher als Faktor 2 und 5.

ob ein item teil des fragebogens wird kann doch nicht nur aufgrund des ratings erfolgen! wichtig ist auch zu wie schwer das item ist?

Das stimmt. Hier versuche ich allerdings theoriegeleitet Items eines Fragebogens für die Erstellung eines neuen Fragebogens zu verwenden. Das Rating ist ein Expertenrating. Die Experten entscheiden also welches Item wahrscheinlich welches Konstrukt (Faktor) erfasst. Oder auch ob das Items keines der 5 Konstrukte erfasst. Nachdem das Rating erfolgt ist und ich die Items einem Faktor zugeordnet habe, werde ich dann eine Konfirmatorische Faktorenanalyse (KFA) machen. Dadurch kann ich schauen wie gut das Modell passt, oder ob ein Item gar nicht auf dem Faktor lädt.

man kann eventuell das informationsmaß h als maß der Varianz heranziehen, bei item1 wäre h =0
bin mir aber nicht sicher ob dass bei k=6 und n=5 sinn macht

Da verstehe ich nicht so ganz wie du das meinst. Das Informationsmaß h kenne ich nicht. Gibt es dafür Konventionen?

oder du zählst einfach wie oft gleicheit vorliegt

Genau, das hatte ich auch schon überlegt. Oder halt in Prozent angegeben: Item 1: 60%, Item 2: 80%, Item 3: 40%, Item 4: 100%
Allerdings würde ich gerne einen statistischen Kennwert mit Konventionen angeben, nachdem es sich eindeutig entscheiden lässt.
Vielleicht könnte man auch für jedes einzelne Item Krippendorffs Alpha zum Beispiel berechnen?

[dutchie]

hallo Ann 1.0

also ich kenne kein Maß mit solchen Konventionen.
mit Konventionen
meinst du etwas das dir die entscheidung abnimmt?
wenn die Factoren korrelieren, kann man dann trotzden unabhängig
davon eindeutig zuordnen oder besteht dann verwechslungsgefahr
zwischen den Factoren Kategorie? schwierig ! aber du wirst ja sehen was rauskommt..
denk dir die items doch einfach geordnet nach übereinstimmung
entscheide dann ohne konvention oder kriterium einfach von oben nach unten...
und mach dann irgendwo einen cut, kommt darauf an wie das aussieht!
oder schau eventuell nach sowas wie ein scree plot, oder mach einen...
eindeutig entscheiden läßt sich das nicht, meiner meinung nach, da die factoren
ja, zumal in der psychpatho, korreliert sind..

gruß
dutchie

[Ann1.0]

Hey Dutchie,
danke dir erstmal soweit.

meinst du etwas das dir die entscheidung abnimmt?

Genau, ich suche nach Konventionen, mit denen ich meine Entscheidung begründen kann, damit sie nicht subjektiv entschieden erscheint.

oder besteht dann verwechslungsgefahr zwischen den Factoren Kategorie?

Ja, es besteht die Gefahr, dass manche Experten ein Item einer Kategorie zuordnen und andere Experten einer anderen Kategorie. Weil es halt nicht eindeutig ist. Deshalb soll die Interrater-Reliabilität berechnet werden.

denk dir die items doch einfach geordnet nach übereinstimmung

Das ist eine gute Idee.

Danke dir schonmal für deine Hilfe, vielleicht hat ja noch jemand anders einen Rat