Liebe Statistik-Freunde,
ich bin gerade dabei einen Fragebogen zu erstellen und habe nun in einem ersten Schritt zum Testen der Validität ein Card-Sorting durchgeführt. Dabei wurden den Teilnehmern zunächst die verwendeten Variablen aufgeführt und diese wurden auch definiert. Anschließend wurden die dazugehörigen Items in willkürlicher Reihenfolge angezeigt und diese mussten den Variablen entsprechend der Definitionen zugeordnet werden.
Nun möchte ich die Zuordnung untersuchen, also ob die Items den richtigen Variablen zugeordnet wurden. Ein Gedanke war, Cohen's Kappa zu berechnen, was ja eigentlich die Übereinstimmung zwischen zwei Personen berechnet. Habe dafür eine Variable mit der richtigen Zuordnung angelegt und diese jeweils mit den Teilnehmern verglichen und Cohen's Kappa berechnet. Mein Problem ist jetzt, dass ich damit zwar sehe, wie gut die einzelnen Teilnehmer die Items zugeordnet haben, hilfreicher wäre aber zu sehen, wie gut die einzelnen Items ihrer jeweiligen Variable zugeordnet wurden. Kann mir jemand helfen und mir einen Wink zur Lösung geben?
Vielen Dank schon jetzt!
