wie Übereinstimmung messen?

[Sanne H.]

Hallo!

Ich möchte den Grad der Übereinstimmung von mehreren Beurteilern messen. Dabei dachte ich zunächst an Cohens Kappa, stosse aber auf verschiedene Probleme.

Vielleicht erst mal zu meinen Daten:
Ich habe 12 Beurteiler, die 20 Beurteilungsobjekte im Bezug auf 7 Kriterien beurteilt haben. Einige Kriterien konnten 4 stufig (0= ohne Befund, 1=geringgradig, 2= mittelgradig, 3= hochgradig) und einige nur mit 0= ohne Befund und 1= mit Befund beutreilt werden.
Jedem Beurteilungobjekt konnten also bis zu 7 Befunde zugeordnet werden.
In einem zweiten Durchgang haben dann 9 Beurteiler dieselben Objekte (mit anderen Nummern versehen und vertauscht) noch einmal befundet.

Ich wüsse jetzt gerne:
1.) Über alle Beschauer und Befunde hinweg einen Grad der Übereinstimmung (andershherum: die Varianz der Befunde)
2.) Ob die Übereinstimmung zwischen den Beschauern im zweiten Durchgang besser geworden ist (die Varianz also abgenommen hat).

Bei der Berechnung von Kappa habe ich das Probem, dass ich in der Kreuztabelle immer nur einen der Befunde rausgreifen kann (das würde aber lediglich eine Fleißarbeit bedeuten, es 7 x zu machen). Schlimmer ist, dass nicht jeder Beurteiler jede Antwortkategorie verwendet hat. Es kann also sein, dass beim Vergleich von Beobachter Nr1 und Nr2 im Bezug auf den Befund X Nr 1 zwar die Ausprägung 0 und 1 verwendet hat, nicht aber die 2 und 3, die aber bei Nr. 2 dann doch vorkommen.
Dann kann Kappa nicht berechnet werden.

Hat jemand eine andere Idee?

Liebe Grüße

Susanne

[Silversurfer]

Hallo,

schau mal hier nach:

http://www.statistik-tutorial.de/forum/ftopic3321.html

Viele Grüße

[Sanne H.]

Der Link geht bei mir nicht:


Not Found

The requested URL /forum/http://www.statistik-tutorial.de/forum/ftopic3321.html was not found on this server.

[Silversurfer]

Den Link einfach in die Browserzeile kopieren, dann klappt's auch.