Multiples Testen

[Marci321]

Einen schönen guten Tag wünsche ich,

ich bin derzeit dran meine Masterarbeit auszuwerten und tue mich sehr schwer das Konstrukt des Multiples Testens zu verstehen. Bzw. verstehe ich die Ansatz dahinter, jedoch die Praxis legt mir Steine in den Weg.

Mal als konkretes Beispiel: (N=700)
Ich habe die Hypothese, dass sich 3 Gruppen hinsichtlich des Big Five unterscheiden. Da die Gruppen keine Varianzhomogenität aufweisen und ungleich Groß sind rechne ich die Welch-ANOVA über den Reiter einfaktorielle Varianzanalyse. Die Variable für die 3 Gruppen ist dabei die (kategoriale) UV und die 5 Faktoren der Big Five die (metrische) AV. Ist an dieser Stelle schon eine Adjustierung des Alphas nötig, da 5 Tests durchegführt werden? (Zum Verständnis: Gehen wir einfach mal von der normalen Bonferroni-Korrektur .05/5 aus.)

Und weiter: Im folgenden habe ich eine Hypothese, dass sich die obigen Gruppen anhand der Motivation (Fragebogen mit 10 Subskalen für Motivation) unterscheiden. Dabei würde ich ähnlich wie oben vorgehen und die 10 Subskalen als (metrische) AV in die Welch-ANOVA einsetzen. Müsste ich dann die Korrektur nur für diesen Fragebogen machen (also .05/10) oder müssen die obigen 5 Tests noch hinzugenommen werden (.05/15) weil es die selbe Stichprobe ist - oder gar nichts?

(Was quatscht der da von selbe Stichprobe? -> Das ist eines meiner Verständnisprobleme beim Multiplen Testen. Ich versteh nicht so recht worauf sich das Multiple Testen bezieht. Nur auf die Stichprobe? Auf die Hypothese? Beides?)

Und noch weiter gedacht: Gehen wir davon aus die Daten würden alle Voraussetzungen erfüllen und ich rechne eine MANOVA mit den Daten - wäre das auch multiples Testen? (Frage ich, weil mir manche Erklärungen so vorkommen als ob eine (M)ANOVA das aushebeln würde.)

Ich hoffe es ist soweit verständlich wo mein Problem liegt und mir kann jemand helfen zu verstehen, wie sich das Multiple Testen ergibt und auch zueinander verhält.

Danke und viele Grüße,
Marcel

[dutchie]

hallo marcel

es muss einem klar sein, dass wenn man einmal testet
einen Fehlerwahrscheinlichkeit von alpha=5% hat! wenn man zweimal testet ist die wahrscheinlichkeit sich
mindestens einmal zu irren größer!! 1-((1-0.05)*(1-0.05))= 0.0975.
beispiel:
wenn du viele in der population unkorrelierte Variablen innerhalb deiner analyse jede mit jeder
korrelierst und 1000 korrelationskoeffizienten (KoKo) produzierst, wirst du feststellen, das da manche signifikant
aufpoppen! in der erwartung 50 stück bei 5% irrtumswahrscheinlichkeit,... und irrtümer passieren.
wenn du das wiederholst mit einer anderen stichprobe werden wieder 50% aufpoppen, aber diesmal andere!!
An dieser stelle merkst du das es bedeutsam ist vorherzusagen per hypothese, welche KoKos signifikant werden und welche nicht!

bei deinen geschilderten Fällen, würde ich nicht justieren weil du :

a) hypothesen hast (hoffentlich), also bergündet vorhersagen kannst
was passiert (bei explorativer Analyse gilt das nicht)
b) pro stichprobe nur eine Hypothese hast und die nur einmal testest.
(Stichproben sind die Zahlen pro variable, nicht die leute!)

bei kontrastvergleiche im anschluß an eine ANOVA verhält sich das anders...
da hab ich bei einer stichprobe, mehrere hypothesen zu testen die eventuell nicht geplant, als nur analytisch (explorativ)
zu werten sind, und ich muss trotzdem nicht alpha justieren, wenn ich nur neue Hypothesen aufstelle und nicht teste!

Will ich eine explorativ gewonnenen signifikantes ergebnis aber verallgemeinern, z.b. die 50 sig. KoKos von oben,
müsste ich alpha justieren --> 0.05/1000, das führt dann aber dazu, daß die signifikanzen (die verallgemeinerbarkeit) verschwinden.

Das mit der MANOVA wird in der Forschung genauso angewendet wie du es dir gedacht hast.
Ist die MANOVA, als nur ein, nicht multipler Test, aber eventuell mit Informationsverlust sig, ist da irgendwo bestimmt eine SIgnifikanz,
und ich analysiere quasi nur noch im Detail wo bei welcher Variabeln. Das heißt aber auch dass sich die Variabeln zu einer Hypothese
zusammenfassen lassen, was bei den Big Five wohl kaum sinn macht.

gruß
dutchie

[Marci321]

Hallo dutchie,

danke für deine Rückmeldung und Erläuterung und entschuldige die verzögerte Antwort.
Leider ist der Knoten bezüglich der Praxisanwendung mit der ANOVA bei mir noch nicht so recht geplatzt. Ich verstehe das Prinzip für T-Tests - z.B. Geschlecht x Big Five = 5 T-Tests ergibt eine Korrektur von .05/5=.01. Check. Sobald jedoch die UV 3 anstatt 2 Kategorien hat und man eine ANOVA rechnet hört es bei mir auf.

Da ich jemand bin der am besten durch Beispiele und Leaning by doing lernt gehe ich nochmal auf mein Beispiel ein und hoffe du kannst es mir daran nochmal etwas deutlicher machen:

Also ich arbeite explorativ in meiner Arbeit. Nehmen wir mal an meine UV mit den 3 Kategorien wären Lieblingsfarben - Rot, Gelb, Blau.
Eine meiner Hypothesen sagt Personen weisen Unterschiede in den Big Five (5 Variablen) bezogen auf ihre Lieblingsfarbe auf.
Eine weitere Hypothese besagt, dass sich die drei Gruppen (Farben) bezüglich der Motivation (10 Variablen) unterscheiden.

Ich würde eine (also nur ein SPSS-Befehl) einfaktorielle Varianzanalyse mit Welch-Anpassung und Post-Hoc-Test für die Big Five rechnen (also 1 UV und 5 AVs) und das gleiche nochmal für Motivation (1 UV und 10 AVs) machen. Am Ende also zwei SPSS-Befehle haben.

Muss ich dabei dann eine Anpassung vornehmen, weil theoretisch für jede AV ein Test gemacht wird (also .05/5 und .05/10)? Oder muss angepasst werden weil ich 2 Varianzanalyse auf die Gruppe der Farben rechne (.05/2)? Oder nix (.05)?

Und weiter: Nun möchte ich mir noch eine weitere UV anschauen. Sagen wir mal Wassersorten - Still, Medium, Classic. Auch diese soll Unterschiede bei den Big Five und der Motivation haben. Muss nun hier Angepasst werden weil ich zum zweiten Mal die selben AVs nutze (0.5/2)?

Ich hoffe es wird ansatzweise klar wo meine Schwierigkeiten liegen - ich versteh einfach nicht was der springende Punkt bei der Adjustierung ist ... Sind es die SPSS-Optionen (Im Sinne von eine Option = 1 Test), die Anzahl der AVs, die Hypothesen ... Was ist X in der Formel .05/X ...

Danke für die Geduld und viele liebe Grüße,
Marcel

[dutchie]

hallo marcel
dich hat das gerede über justieren ja völlig verdaddelt..

DU justierst überhaupt nicht !!!!
nicht bonferoni oder scheffe oder sonst was!!!
Du testest ganz normal als ob nichts wäre!
ganz wichtig: die p werte die du berichtest sind somit nicht justiert
das sind die, die dir der test ausspuckt.

wenn du explorativ arbeitest testest du an sich keine Hypothesen
du stellst welche auf!!!! und das testen
beschreibt nicht die möglichkeit der verallgemeinerung sondern nur die Wahrscheinlichkeit der daten...
wenn etwas als unwahrscheinlich auffällt, ist das für dich eine neue hypothese...
plus Plausibilitätsprüfung,wenn du dabei justierst wird nichts signifikant (wenn columbus justiert hätte
wäre er daheim geblieben) du braucht dann eigentlich auch nicht explorieren.
an deiner stelle würde ich das justieren erstmal ganz vergessen, schauen was rauskommt
und einfach mal eine Behauptung raushauen!
und dann eventuell mal in der Diskussion darüber philosophieren was wäre wenn...

gruß
dutchie