Manipulationscheck - Auswertung?

[Joschka]

Im Rahmen einer Vorstudie soll die Funktionalität des Stimuli-Materials getestet werden. Hierzu wurde den Probanden das Material vorgelegt und sie mussten im Anschluss eine Manipulationscheck-Frage beantworten.

Beispiel:
Ihnen wurde eine rote Farbkarte vorgelegt. Anschließend wurde gefragt, welche Farbe die Karte hatte.

Natürlich geht man davon aus, dass alle Probanden "Rot" angeben, allerdings wird es bei sehr vielen Probanden Abweichungen geben - vor allem bei komplexeren Versuchsaufbauten als in diesem Beispiel.

Nun die eigentliche Frage:
Wie Werte ich eine solche Frage statistisch aus? Natürlich kann ich sagen, dass 90% die richtige Antwort gegeben haben, aber gibt es keine andere Möglichkeit es etwas "wissenschaftlicher" auszudrücken?

Mittels Chi-Quadrat-Test kann ich es in SPSS nicht auswerten, da er für Erwartungswerte (blau, schwarz, etc.) den Wert 0 nicht annimmt... Oder stehe ich hier auf dem Schlauch?

[Joschka]

Gibt es keinen einfachen Test dafür!?

[Generalist]

Einen Test wofür? Was genau willst Du testen, welche Hypothese?

[Joschka]

Das ist die Frage...
Um bei dem Beispiel mit den 90% zu bleiben:
"Es sollte keine signifikante Abweichung von 100%/rot geben"

Im Prinzip möchte ich zu folgender Aussage gelangen:
"Die 10% der Probanden, die nicht rot angegeben haben, bilden (k)eine signifikante Abweichung vom Erwartungswert, dass alle rot angeben"

[Generalist]

Im Prinzip möchte ich zu folgender Aussage gelangen:
"Die 10% der Probanden, die nicht rot angegeben haben, bilden (k)eine signifikante Abweichung vom Erwartungswert, dass alle rot angeben"

Ich weiß nicht, was genau Du mit signifikant meinst, aber
ich vermute, es ist nicht das, worum es bei einem inferenzstatistischen
Signifikanztest geht. In der Inferenzstatistik geht es um
punktgenaue Aussagen über eine Grundgesamtheit, und es
wird untersucht, ob die Stichprobendaten damit vereinbar
sind. Um die Nullhypothese (Aussage über die Grundgesamtheit):
"rot=100%" zu verwerfen, braucht es aber noch nicht einmal
einen formalen Test, denn bereits 1 einziger nicht-roter Fall in der Stichprobe genügt.

Ob die 10% nicht-roten Angaben in Deiner Stichprobe aber nun
relevant/wichtig/bedeutsam/bedenklich sind, damit beschäftigt
sich kein inferenzstatistischer Signifikanztest.

[Joschka]

Hm ok. Gibt es dennoch Möglichkeiten darüber Aussagen zu treffen - außer die in meinem ersten Beitrag genannte?

[Generalist]

Aussagen präzise worüber? Das Anliegen

Wie Werte ich eine solche Frage statistisch aus? Natürlich kann ich sagen, dass 90% die richtige Antwort gegeben haben, aber gibt es keine andere Möglichkeit es etwas "wissenschaftlicher" auszudrücken?

kann ich leider nicht recht nachvollziehen.

[Joschka]

Nochmal anders formuliert:
Wie kontrolliere ich, dass auch alle die Farben angesehen haben und gecheckt haben, dass es die rote Farbe hat.

Ok, ich stelle eine Manipulationcheck-Frage: "Welche Farbe hatte XY?"

Jetzt habe ich das Problem: Sind 10% Abweichung zu viel und ich muss etwas am ganzen Test (Erscheinung, etc.) ändern oder hält sich das "im Rahmen"?

-> Der letzte Absatz ist meine Problemstellung, bei der ich nicht weiter komme. Hoffe das ist verständlich. Dass es nicht wissenschaftlich formuliert ist, weiß ich - aber sonst würde ich die Frage womöglich gar nicht stellen

[Generalist]

Jetzt habe ich das Problem: Sind 10% Abweichung zu viel und ich muss etwas am ganzen Test (Erscheinung, etc.) ändern oder hält sich das "im Rahmen"?

Ach so. Aber das ist erstmal keine statistische Frage.
Da muss man substanzwissenschaftliche Überlegungen
(z.B. "wie ist solch eine Fehlerrate erklärbar") und/oder
die im Forschungsfeld geltenden Standards zur Beurteilung
heranziehen.

[Joschka]

Hm, da habe ich leider keine Werte Naja, muss ich mir nochmal Gedanken machen. Danke für die Antworten - auch am Sonntag!