Vergleich von Selbst- und Fremdeinschätzung

[djf666]

Folgende Fragestellung steht im Zentrum:

Unterscheiden sich Lehrende in ihrer Selbsteinschätzung von den Fremdeinschätzungen ihrer Studierenden?

N = 20 Lehrende, die hinsichtlich ihres Lehransatzes auf einer 6-Punkt-Likert-Skala befragt wurden.

N = 320 Studierende, die jeweils in einer der Lehrveranstaltungen waren, wurden ebenso zur Einschätzung des Lehransatzes des jeweiligen Lehrers befragt (ebenfalls 6-Punkt-Likert-Skala).

In jeder Lehrveranstaltung wurde also 1 Lehrer und seine zirka 10-30 Studierende zum Lehransatz des Lehrers befragt.

Bisher habe ich mittels Faktorenanalyse die Instrumente hinsichtlich ihrer Ladungen überprüft und die interne Konsistenz der einzelnen Bögen kontrolliert.

Fragebogen der Studieren:
Bei diesem habe ich die Stichprobe der Studierenden bereinigt. Mittels Box-Plot habe ich Ausreißer in den jeweiligen Studierendengruppen geprüft und anschließend eliminiert. Die Ausreißer konnten durch Ihr Antwortverhalten identifiziert werden.

In einem weiteren Schritt habe ich geprüft wie viel Varianz ich durch die Beurteilung des jeweiligen Dozenten über die verschiedenen Studierendengruppen aufklären kann. Hierfür habe ich zuerst ein Random-Intercept-Modell genutzt und Inter-Klassen-Korrelationen gerechnet um zu überprüfen, ob andere Faktoren (z.B. Fachbereichszugehörigkeit und Veranstaltungsform) einen Einfluss haben.
Die Ergebnisse zeigen, dass ich durchschnittlich 28 bis 40 % der Varianz der Studierendengruppenunterschiede auf den Lehransatz der Lehrenden zurückführen kann.


Wie vergleiche ich nun, ob die Aussagen der Studierenden mit den Selbstauskünften ihres Dozenten übereinstimmen? Bisher würde ich von folgenden Möglichkeiten und Problemen ausgehen.

Interklassenkorrelationen:
1.) Vergleich zwischen den verschiedenen Studierendengruppen und ihren Lehrenden mittels Interklassenkorrelationen für nicht zufällig gewählte Rater (also ICC 3,k).

Einfache lineare Regression:
Vergleich der Lehrer-Selbst-Einschätzung mit der Studierenden-Fremd-Einschätzung über die lineare Regression. Aber funktioniert dies, da ich doch 1 Einschätzung auf Lehrerseite mit jeweils 10-30 Einschätzungen durch seine Schüler hierdurch vergleiche?

Mehrebenenmodell:
Ich kann von einem Mehrebenenmodell ausgehen, da die Studierenden ja jeweils ihren Lehrenden einschätzen und nicht alle Lehrenden. Wenn ich ein Mehrebenenmodell berechnen möchte.

Ich hoffe, dass mir jemand helfen kann. Bisher finde ich in verschiedenen Studien sowohl Inter-Klassen-Korrelationen sowie MTMM Verfahren.

Vielen Dank für Eure Mühe!

[djf666]

Mittels dem folgenden Link könnt ihr Abstimmen, welches Verfahren Ihr befürworten würdet.

http://onlinevoten.de/poll/2012/11/10/W ... zu-pruefen

[drfg2008]

was spräche denn dagegen, die Selbsteinschätzung des Dozenten jeweils vom Punktwert der Fremdeinschätzung des Teilnehmers zu subtrahieren und die so gewonnene Differenz mit dem t-Test gegen Null zu testen?

[djf666]

hallo drfg2008,
danke für die Idee. Ich habe einen t-test für abhängige Stichproben auch schon in Erwägung gezogen, wobei der Dozent mit dem Mittelwert seiner Studierenden gepaart wird und anschließend auf Signifikanz geprüft wird. Hierbei habe ich sowohl mit z-Transformation gearbeitet wie auch testweise ohne (beide Fragebögen enthielten aber die selben Items).

Dein Vorschlag müsste ja in die ähnliche Richtung verlaufen, da jede Studierendengruppe ja immer nur ihren eigenen Lehrenden eingeschätzt hat. Dies wäre ja nur mit dem oben genannten t-Test möglich. Hast Du vielleicht Literatur dazu, wo bereits auf dieses Verfahren zur Überprüfung eines gerichteten Zusammenhangs zurückgegriffen wurde?
Vielen Dank für Deine Idee.

[drfg2008]

leider keine Literatur, daher nur die Idee

Ein Problem könnte es geben: Da jeder Dozent mehrfach bewertet wird, könnte die Varianz nicht erwartungstreu geschätzt worden sein, denn der t-Test gegen Null geht von i.i.d. verteilten ZV je Fall aus. Und das ist dann genau genommen nicht so.

[djf666]

genau deshalb habe ich halt mit den gruppenmittelwerten gerechnet, die ich vorher auf interkorrelation geprüft habe.

[drfg2008]

das würde den Stp. Umfang auf 20 reduzieren (Problem: Effektgröße).

Eigentlich ist das ein hierarchisches Modell, aber multilevel kenne ich leider nur in Verbindung mit Regressionsanalysen, nicht in Verbindung mit t-Tests gegen Null.

Erstere werden mit SPSS über die Linear Mixed Models berechnet.

Darstellungen bei Andy Field (Kap. 19 S.725 ff)

[djf666]

Nachdem ich nun mit noch einem Kollegen gesprochen habe, hier die Antwort.
Im vorliegenden Fall erweist sich die Mehrebenenanalyse am geeignetsten.
Der Kollege antwortete wie folgt: "Mehrebenenmodelle sind Regressionsmodelle. Von einer "normalen"
Regression würde ich abraten. Sie haben doch genestete Daten: mehrere Studenten pro Dozent. Das heißt, die Unabhängigkeit der Beobachtungen - wie sie bei "normalen" Regressionsmodellen gefordert wird - ist in diesem Fall nicht gegeben. Das heißt sie "müssen" Mehrebenenmodelle anwenden."

Diese Antwort hat mich vollends überzeugt. Für jeden der sich mit diesem Verfahren vertiefend auseinandersetzen möchte, habe ich auch noch folgenden Link als Empfehlung: http://www.soziologie.uni-halle.de/lang ... romla2.pdf

Auch noch mal einen recht herzlichen Dank an drfg2008. Der Hinweis mit Linear Mixed Models ist korrekt. Wobei ich dann aber eher Mplus nehme, da es ein gutes Buch dazu gibt (Christ & Schlüter (2012) Strukturgleichungsmodelle mit Mplus), welches ich mir besorgt hatte.

[drfg2008]

Ja, aber wie testest du dann gegen Null?

[djf666]

Soweit ich das Verfahren bisher verstanden habe, wird bei der Mehrebenenanalyse dies berücksichtigt.
Anbei die Schritte der Mehrebenenanalyse in Kurzform:

1. Daten bereinigen
2. Auf Normalverteilung prüfen (bei Schiefe gegebenenfalls ausgleichen)
3. Z-Transformation der Daten
4. Maxi-Likelihood und Inter-Klassen-Korrelationen auf der Studierendenebene prüfen
5. Mehrebenenanalyse mit Dozentenfragebogen und Studierendenfragebogen durchführen. Hierbei wird aufgrund der z-transformierten Daten gegen Null mit getestet.

Wenn ich es so richtig verstanden habe. Allerdings lese ich mich gerade noch ein. Wenn ich näheres weiß, werde ich es noch mal berichten.

[Tuk]

Hallo djf666

und? Weißt du schon näheres? Ich frage, weil ich vor einem ähnlichen Problem stehe und einfach nicht weiter komme...
Warum hast du mit den z-werten die Interklassenkorrelation berechnet und nicht erst anschließend transformiert? Gehen dabei nicht Infos verloren?

Würde mich über eine Antwort freuen! Auch im Bezug auf die weitere Mehrebenenanalyse.

Liebe Grüße,
Tuk

[drfg2008]

findet sich im Beitrag:

Darstellungen bei Andy Field (Kap. 19 S.725 ff)

Nur war die Frage nicht beantwortet, wie das (auch) als Test gegen Null (kein Unterschied) im Rahmen eines Mehrebenenmodells gelöst werden könnte.