Übereinstimmung zwischen Beobachtern messen

[Sanne H.]

Hallo!

Ich möchte für ein Projekt feststellen, wie groß die Übereinstimmung von 13 verschiedenen Beobachtern ist. Die Beobachter beurteilen jeder 20 Beurteilungsobjekte und können jedem Objekt mehrere von 30 Kategorien zuordnen (trifft zu oder trifft nicht zu). Am Ende habe ich zu jedem der Objekte 13 mehr oder weniger unterschiedliche Einschätzungen. Ich will den Grad der Übereinstimmung wissen.
Kann ich da überhaupt mit Kappa arbeiten? Denn die Beobachter werden ja nicht immer dieselben Kategorien angeben.

Ich habe gerade keine Idee.

Liebe Grüße

Susanne