Vorwissen als Kontrollvariable für Wissenstest

[jopa1234]

Hallo ihr Lieben, ich versuche hier mal mein Glück.

Ich schreibe gerade meine Masterarbeit und bin dabei, den Fragebogen zu erstellen. Mein Experiment besteht aus einem Vortest, einer Intervention in der die Proband:innen in 2 Gruppen zwei verschiedene Lerneinheiten bearbeiten und einem Nachtest, der den Lernerfolg messen soll. Hauptteil dieses Nachtests ist ein Wissenstest, der sich auf die in der Lerneinheit beigebrachen Inhalte bezieht. Der Lernerfolg beider Einheiten soll nun verglichen werden.

Aus einem früheren, ähnlichen Experiment kenne ich nun folgende Vorgehensweise: Vortest und Nachtest beinhalten denselben Wissenstest. Richtige Antworten im Wissenstest werden zu einer Punktzahl zusammengerechnet. Im Anschluss vergleiche ich dann zum Einen die durchschnittliche Punktzahl von Vor- und Nachtest der jeweiligen Gruppe, um überhaupt den Lernerfolg festzustellen. Anschließend vergleiche ich den durschnittlichen Unterschied zwischen Vor- und Nachtest von Gruppe 1 mit dem von Gruppe 2, um festzustellen, welche Lerneinheit effektiver war. So weit so gut.

Mein Professor meinte jetzt, ich könnte das Vorwissen auch eher als Kontrollvariable verwenden, um sicherzustellen, dass sich die Gruppen im Vorwissen nicht wesentlich unterscheiden. Dafür könnte ich aber den Vorwissenstest wesentlich kürzen und nur einzelne Fragen aus dem Nachtest auswählen, die die einzelnen Lernziele gröber bzw. allgemeiner widerspiegeln.

Nun will ich den Fragebogen in kleinem Rahmen pre-testen und seine Aussage war nun, ich könnte ja überprüfen "wie die einzelnen Items im Vortest mit den Bereichen/Lernzielen im Nachtest korrelieren", um zu sehen, ob der Vortest zum Vorwissen aussagekräftig genug ist. Wie das nun manchmal in solchen Gesprächen so läuft habe ich fleißig mitgeschrieben, genickt, die Aussage auch halbwegs verstanden und dann schnell Fragen zu weiteren Themen gestellt. Jetzt im Nachhinein stehe ich leider komplett auf dem Schlauch, wie diese Analyse aussehen soll.

Kann mir hier vielleicht jemand helfen, ohne dass ich nochmal bei meinem Prof angekrochen kommen und zugeben muss, dass ich über statistischen Auswertungsverfahren nur gefährliches Halbwissen besitze? Ich hoffe ich konnte das Problem halbwegs verständlich erläutern.

Vielen Dank im Voraus!

[dutchie]

Hallo

das ist mal wieder so eine Frage, oh weh,
das ist eigentlich zu kompliziert um darauf schnell mal zu antworten.

Vortest und Nachtest beinhalten denselben Wissenstest.

?? Machen die zweimal denselben Test oder einen Paralleltest = thematisch gleich, aber
andere Frage mit selber Schwierigkeit.

Nur wenn Prä und Post Messungen identisch sind (Blutdruck morgens vgl. mit Blutdruck abends),
lassen sich die Messungen per prä-post ANOVA vergleichen.
Das ist ein Problem bei Wissenstests.

Die lernen beim ersten mal, insofern sind sie beim zweiten mal automatisch besser.
Man kann also kaum zweimal denselben Wissenstest machen, problematisch!

Besteht ein Mittelwertsunterschied zu post, kann dies nur dann als Interventionswirkung interpretiert werden,
wenn die Gruppen zu pre im Mittel gleich waren. Deshalb bestimmt man ja die pre Werte!

Besteht ein Mittelswertunterschied zwischen pre und post in der Interventionsgruppe, ist dieser
nur dann auf die Intervention zurückzuführen, wenn er bei einer unbehandelten Kontrollgruppe
nicht auftrat. Dies garantiert, das der Effekt nicht durch die "Zeit " entstand, bedingt z.B. durch die Messung
oder durch Spontanremission!
--> 2x2 Pre Post! Versuchsplan

Man kann einen (oder mehr) Vortest benutzen, um die Gruppen nicht randomisiert, sondern aktiv zu bilden, sodass sich
die Gruppen vor der intervention, hinsichtlich keiner relevanten Störvariable und der AV unterscheiden.
Man kann hoffen, dass das klappt, aber man möchte es kontrollieren.

Es gibt jetzt einige Möglichkeiten,

A) 2 mal t Test für unabhängige Stichproben, einmal zu pre und zu post.
B) ANCOVA, mit den pre Werten als Kovariate
C) pre post ANOVA (2 within x 2 between ANOVA = gemischte ANOVA = ANOVA mit Messwiederholung)

C) setzt identische Messverfahren voraus.

B) die Kovariate kann eine Variable sein die mögliche pre Unterschiede kontrolliert (bereinigt),
und muss nicht dieselbe sein wie zu post, z.B. IQ ...pre Unterschied werden "rausgerechnet"
die Interventionswirkung wird bestimmt, unabhängig von pre Zustand.
Anders gesagt (im Sinne multiple Regression) die Wirkung der Intervention wird bestimmt für Personen
die hinsichtlich ihrer pre Zustände gleich waren (nicht ganz richtig so egal)

A) wenn zu pre Unterschiede festgestellt werden (die müssen dabei gar nicht mal unbedingt signifikant sein!
es langt wenn sie als relevant erachtet werden), kann man diese Unterschied zwar feststellen (..nur feststellen), diese aber nicht aus der Interventionswirkung herausrechnen! Das kann nur C, ansatzweise auch B (fraglich)!

gruß
dutchie