Welcher Test?

[raaaph]

Hallo ihr alle!

Ich quäle mich seit paar Tagen durch das Internet und auch hier durchs Forum, aber bin leider noch nicht ganz schlau geworden

Ich möchte gerne die Wirksamkeit von einem Förderprogramm testen. Dazu habe ich eine Versuchs- und eine Kontrollgruppe (jeweils 4 Schulklassen mit ca. 100 Schülern an jeweils unterschiedlichen, am Programm interessierten Schulen -> nicht randomisiert?), die am Anfang und am Ende einen Test (intervallskaliert) ablegen müssen.

Hab also 2 Messzeitpunkte, zwei (nicht randomisierte?) Gruppen und möchte gerne wissen:

- hat sich die Fördergruppe im Testergebnis verbessert?
- hat sie sich mehr verbessert als die Kontrollgruppe?

Brauche ich da mehr Tests?

Muss das ganze glücklicherweise nur theoretisch aufbauen, hab also auch keine Testergebnisse, die ich auf Normalverteilung etc. prüfen kann/muss (bzw. bei so vielen Testpersonen ist das sowieso normalverteilt?).

Bin super verwirrt und wäre wirklich super, wenn ihr mir da kurz auf die Sprünge helfen könntet!

Danke!!!

[dutchie]

tja, in der tat mal wieder schwierig.

sagen wir mal: du hast eine 2 faktorielle multilevel ANOVA :
1. - erster Faktor UV1 ZEIT: within (innerhalb, messwiederholt) mit zwei Stufen vorher nachher
2. - zeiter Faktor UV2 GRUPPE: between (zwischen) mit level eins SCHULE mit acht Stufen, level zwei FÖRDER-KONTROLLGRUPPE mit zwei Stufen
( plus wenn man so will level null SCHÜLER mit 800 Stufen)
3. - AV irgendwas... vermutich multivariat (mehrere AVs)
4. - Moderator- Mediator- Störvariablen... auf level null z.B. IQ Schüler...auf level eins Schulcharakteristika wie Ausstattung, Standort, Größe, Art (Gesamtschule oder blabla...)

also freu dich da Punkt 3 und 4 bei dir wegzufallen scheinen.

Wenn du jetzt z.B. nach randomisierung fragst, musst du die levels beachten, wird level null bezüglich level eins randomisiert, eher nicht:
der Schüler wird der Schule nicht per Zufall zugeordnet.
level eins bezüglich level zwei: wird die Schule per Zufall einer der BedingungenFÖRDER oder KONTROLL zugeordnet. eher möglich, aber wahrscheinlich nicht.

Über wirksamkeit des Förderdingsbums entscheidet der Test auf Wechselwirkung (ww) zwischen Zeit x Gruppe auf die AV.
d.h. sind die Verläufe parallel gibt es keine Wechselwirkung und keinen effekt der Förderung.
ist WW signifikant und ist der Anstieg in der Fördergruppe schneller als in der Kontrollgruppe ist dei Förderung wirksam.

und jetzt das was anfremdelt: sind die zwei levels "between" zwei UV oder nur eine UV? wozu der Faktor SCHULE.
Es wird in diesem Faktor keine UV durchgehend variiert. Der Faktor Schule steht für nix, wenn die Schulen sich unterscheiden
worin tun sie das?
Wenn ich vom Faktor SCHULE absehe, hab ich eine ganz normale 2x2 ANOVA vorher-nachher mit kontroll vs treatment mit 400 Schülern pro Stufe.
und kann problemlos entscheiden über ww GruppexZeit (über 4 Mittelwerte)
Wenn ich den Faktor Schule drin lass zusätzlich, hab ich eine 2x8x2 ANOVA mit den zusätzlichen ww-hypothesen (u.a.) Schule x Gruppe (involviert 8 Mittelwerte),
Schule x Zeit und der dreifach ww Schule x Gruppe x Zeit (aber Schule und Gruppe ist konfundiert):
wie is es denn wenns normal ist (mitlerweile denk ich nur laut, oder schreib mal was ich denke):
mal im schema:
UV1: UV2:( z.B lage quasi für schule) wir haben: UV2 (Schule)

F Bayern Schule 1
F Berlin Schule 2
F Hessen Schule 3
F BW Schule 4

K Bayern Schule 5 (obacht! hier müsste sich die erste Stufe der UV2 wiederholen)
K Berlin Schule 6
K Hessen usw...
K BW
das klappt jetzt hab ich sinnvolle Mittelwerte für Bayern und Berlin usw.
Bei unserem Fakor Schule hab ich das nicht, und bei 2x8x2 würde ein mittelwert gebildet aus F erste Schule mit K erste Schule
und der bedeutet nix.

also was hammer jetzt 2x2 2x8x2 oder gar 8x2 ??

hab noch keine abschließende Meinung

erstmal gruß
dutchie

[raaaph]

Lieber dutchie,

schon mal vielen vielen Dank!!

Ich glaube den Faktor SCHULE können wir der Einfachheit halber und weil es ja nur eine theoretische Überlegung ist vernachlässigen!
Dann mache ich einfach eine 2x2 ANOVA? In einer vergleichbaren Studie haben die das auch gemacht, aber ich hab noch nicht ganz verstanden, ob ich noch eine Kovarianzanalyse machen muss, um die Ausgangsunterschiede zu berücksichtigen oder ob die durch die 2x2 ANOVA sowieso schon berücksichtigt werden.

Liebe Grüße,
raph

[dutchie]

hallo

was du auch mache könntest ist:
einfach die messwerte zu t1 minus t2, den zeitfaktor auflösen.
dann hast du eine neue variable AV: "Wirkungder Förderung",
die zu testen entspricht der WW bei zwei faktoren, ist desselbe aber einfacher.
dann kannst die wert zu t1 nehmen und damit korrelieren, um festzustellen wer mehr profitiert
stärkere oder schwächere Schüler, also individuell.
wenn du 2x2 machst gibts keine ausgangsunterschiede zwischen den schulen mehr, aber nach wie vor zwischen den schülern.

dann würde ich die schulen nehmenn mit 8 stufen und den fördererfolg über folgende kontrast testen
0.25 0.25 0.25 0.25 -0.25 -0.25 -0.25 -0.25

wenn du die schulfaktor auflöst kannst du keine unterschiede zwischen den schulen feststellen.
und eventuell moderierende effekte wie Größer der Schule nicht feststellen.

aber das so zu machen wie andere ist bestimmt kein fehler.

gruß
dutchie

[raaaph]

Hallo dutchie,

nochmal vielen vielen Dank für deine Hilfe!!
Das mit der Wirkung ist eine gute Idee, ich habe aber jetzt wegen deiner ersten Nachricht den Faktor Schule auch im Versuchsdesign rausgenommen und die einze Schüler werden jetzt zufällig den Gruppen zugeteilt und dann einfach eine 2x2 ANOVA.

Danke für deine Hilfe!