Hallo zusammen,
ich stehe gerade vor der Herausforderung der Datenauswertung meiner Masterarbeit, ohne eine solide Grundlage in Statistik zu haben. Schon bei der richtigen Methode bin ich mir nicht sicher. Aus folgendem Szenario stammen die Daten:
Ich habe zwei unterschiedliche Sprachmodelle (GPT-3.5 und GPT-4), die Begriffe generieren. Diese werden dann von anderen KI-Modellen (A und B) weiterverarbeitet. Pro Durchlauf messe ich 6 abhängige Variablen. Nach meinem eher unzureichenden Verständnis hätte ich in diesem Fall die unabhängigen Variablen Sprachmodell und KI-Modell, was nach meinen Recherchen eine multivariate multiple Regressionsanalyse nach sich ziehen würde. Allerdings bin ich nicht sicher, ob ich tatsächlich zwei UVs habe. Die KI-Modelle A und B geben bei gleicher Eingabe zuverlässig die gleiche Ausgabe zurück. Also hat das benutzte Sprachmodell keinerlei Einfluss auf das KI-Modell, außer dass die Eingabe variiert. Wäre es hier möglich, die beiden UVs zu einer kombinierten UV zusammenzufassen und trotzdem 4 Gruppen zu haben? Und wenn das möglich sein sollte, wäre dann eine MANOVA der richtige Ansatz? Oder könnte ich auch 6 ANOVAs rechnen, wenn ich sowieso davon ausgehe, dass die Null-Hypothese zutrifft?
Kann mir da jemand weiterhelfen? Ich bin nach 2 Stunden Recherche immer noch völlig planlos.
Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
-
- Beiträge: 4
- Registriert: 21.12.2023, 12:50
-
- Beiträge: 2739
- Registriert: 01.02.2018, 10:45
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
Hallo,
zuerst müsste man klären welches Skalnniveau die abhängigen Variablen haben!
nominal ordinal intervall?
Du hast zwar mehrere AVs, du hast "multi" (mehr als zwei) AVs
d.h. aber nicht, dass du diese als Bündel auswerten musst, wenn jede einzelne AV von Interesse ist.
Zudem folgt einer MANOVA oder mulit Reg, immer eine Auswertung der einzelnen AVs.
Also ist nicht die Frage ob 6 ANOVAS oder eine MANOVA, die 6 ANOVA sowieso,
und, ob MANOVA Sinn macht entscheidet die inhaltliche Bedeutung der AVs !
gruß
dutchie
zuerst müsste man klären welches Skalnniveau die abhängigen Variablen haben!
nominal ordinal intervall?
Du hast zwar mehrere AVs, du hast "multi" (mehr als zwei) AVs
d.h. aber nicht, dass du diese als Bündel auswerten musst, wenn jede einzelne AV von Interesse ist.
Zudem folgt einer MANOVA oder mulit Reg, immer eine Auswertung der einzelnen AVs.
Also ist nicht die Frage ob 6 ANOVAS oder eine MANOVA, die 6 ANOVA sowieso,
und, ob MANOVA Sinn macht entscheidet die inhaltliche Bedeutung der AVs !
gruß
dutchie
-
- Beiträge: 4
- Registriert: 21.12.2023, 12:50
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
Hallo dutchie,
danke für Deine Antwort.
Die AVs sind alle intervallskaliert.
Beim Rest hast Du mich verloren. Brauche ich die 6 ANOVAs als Post-hoc-Test?
Sorry, ich habe wirklich sehr wenig Ahnung von der Materie.
danke für Deine Antwort.
Die AVs sind alle intervallskaliert.
Beim Rest hast Du mich verloren. Brauche ich die 6 ANOVAs als Post-hoc-Test?
Sorry, ich habe wirklich sehr wenig Ahnung von der Materie.
-
- Beiträge: 2739
- Registriert: 01.02.2018, 10:45
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
hallo
...schwer was zu sagen wenn ich nicht weiß, was da gemessen wurde.
Nehmen wir an, wir messen Angst, Depression und Wohlbefinden
Die drei AVs korrelieren! also --> MANOVA!?
Damit findest du nicht heraus,dass die UV wirkung auf ANGST stärker ist als auf Depression
die drei AVs, korrelieren, aber messen doch unterschiedliches,
und hängen vermutlich auch kausal zusammen, müsste man nicht klären wie?
gruß
dutchie
wenn du es so nennen willst, aber eher nicht im Zusammenhang mit "Kontrasten",
...schwer was zu sagen wenn ich nicht weiß, was da gemessen wurde.
Nehmen wir an, wir messen Angst, Depression und Wohlbefinden
Die drei AVs korrelieren! also --> MANOVA!?
Damit findest du nicht heraus,dass die UV wirkung auf ANGST stärker ist als auf Depression
die drei AVs, korrelieren, aber messen doch unterschiedliches,
und hängen vermutlich auch kausal zusammen, müsste man nicht klären wie?
gruß
dutchie
-
- Beiträge: 4
- Registriert: 21.12.2023, 12:50
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
Hallo dutchie,
die Details scheinen wichtiger zu sein als ich dachte. Also, ich habe ein Programm geschrieben zur automatischen Schlagwortgenerierung für Bücher. Das Programm fragt erst ein GPT-Modell nach Stichwortvorschlägen und eine weitere Komponente übersetzt diese Stichwörter dann in ein festgelegtes Vokabular. Im Programm lässt sich konfigurieren, welches GPT-Modell benutzt wird und es kann eine von zwei möglichen Komponenten zur Übersetzung gewählt werden. Die Ausgabe des Übersetzters ist wie gesagt völlig unabhängig vom GPT-Modell. Was mich interessiert ist, ob die "beste" Kombination tatsächlich die beste ist.
Für die Datenerhebung hatte ich eine Stichprobe von 20 Büchern, die bereits Schlagwörter zugeordnet hatten. Gemessen habe ich true-positives (TP), false-positives (FP) und false-negatives (FN), also wie viele der zuvor zugeordneten Schlagwörter gefunden wurden, wie viele Vorschläge falsch waren und wie viele richtige Schlagwörter gefehlt haben. Da die Ausgabe des Programms auf 8 Treffer beschränkt ist, gibt es Korrelationen zwischen den drei Größen. Aus den Werten für TPs und FPs habe ich dann die Genauigkeit und aus den Werten für TPs und FNs die Vollständigkeit berechnet. Aus Vollständigkeit und Genauigkeit wiederum den F1-Score. Das wären meine 6 AVs.
Die relevanteste AV ist für mich die Vollständigkeit. Wenn ich nur für die rausfinden könnte, ob es signifikante Unterschiede gibt, wäre ich schon glücklich.
die Details scheinen wichtiger zu sein als ich dachte. Also, ich habe ein Programm geschrieben zur automatischen Schlagwortgenerierung für Bücher. Das Programm fragt erst ein GPT-Modell nach Stichwortvorschlägen und eine weitere Komponente übersetzt diese Stichwörter dann in ein festgelegtes Vokabular. Im Programm lässt sich konfigurieren, welches GPT-Modell benutzt wird und es kann eine von zwei möglichen Komponenten zur Übersetzung gewählt werden. Die Ausgabe des Übersetzters ist wie gesagt völlig unabhängig vom GPT-Modell. Was mich interessiert ist, ob die "beste" Kombination tatsächlich die beste ist.
Für die Datenerhebung hatte ich eine Stichprobe von 20 Büchern, die bereits Schlagwörter zugeordnet hatten. Gemessen habe ich true-positives (TP), false-positives (FP) und false-negatives (FN), also wie viele der zuvor zugeordneten Schlagwörter gefunden wurden, wie viele Vorschläge falsch waren und wie viele richtige Schlagwörter gefehlt haben. Da die Ausgabe des Programms auf 8 Treffer beschränkt ist, gibt es Korrelationen zwischen den drei Größen. Aus den Werten für TPs und FPs habe ich dann die Genauigkeit und aus den Werten für TPs und FNs die Vollständigkeit berechnet. Aus Vollständigkeit und Genauigkeit wiederum den F1-Score. Das wären meine 6 AVs.
Die relevanteste AV ist für mich die Vollständigkeit. Wenn ich nur für die rausfinden könnte, ob es signifikante Unterschiede gibt, wäre ich schon glücklich.
-
- Beiträge: 2739
- Registriert: 01.02.2018, 10:45
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
Hallo,
tja tricky!..
frage ist dann, ob die UVs die Schlägwörter findet (verwendet)
die UV struktur ist 2x2, vollständig anhängig! je UV Konstellation mach die 20 Bücher!
GPT-3.5 und KI A,B
GPT-4.0 und KI A,B
dann hab ich erstmal ein Problem, wie es zu diesen drei (nur drei!) Ergebnissen kommen kann.
wo ist true-negativ!
..Dein Problem gibt es ja schon in der Diagnostik oder Signalentdeckungstheorie (googeln!),
man müsste sich da schlau machen wie solches da geprüft wird!
...Begrifflichkeiten Sensitivität und Spezifität...usw.
https://ibb.co/QHV9TYs
..also auf keine Fall bist du Multivariat! jede AV (drei) muss isoliert betrachtet werden
ob du das weiterrechnest zu drei übergeordneten (was ist F1 ???) Variablen, sehe gerade nicht wozu!
macht dann 6 ! ..das kann gar nicht Multi sein, da die drei übergeodneten sich aus den untergeordneten bilden!
..das kann die software gar nicht rechnen!!! (vermute ich!, weil die AVs linear abhängig sind!)
nächste Problem die Verteilung der AVs !!! ist das normalverteilt !
wenn nicht, dann ist das keine ANOVA oder lineare Regression !
..zudem steht die Gleichwertigkeit der Bücher in Frage!
das sollte man prüfen, sind manche Bücher leichter als andere!
wahrscheinlich!
...Stichprobe bei N = 20 Büchern ist eher klein!
Fraglich, ob da überhaut was signifikant wird!
...jedes Buch einzeln auswerten!!! du hast ja auch noch eine Stichproben N = 8 Schlagwörtern!!
das geht ganz unter bisher!!
..sind die Schlagwörter pro Buch gleich schwer gewählt ?
Lösung erstmal 6 ANOVAs mit vollständiger Messwiederholung mit 2x2 UV, für jede AV eine, aber wie gesagt...
gruß
dutchie
tja tricky!..
ich nehme an 8 zugeordnete Schlägwörter?..dies bei je 20 Büchern!
frage ist dann, ob die UVs die Schlägwörter findet (verwendet)
die UV struktur ist 2x2, vollständig anhängig! je UV Konstellation mach die 20 Bücher!
GPT-3.5 und KI A,B
GPT-4.0 und KI A,B
deine Ergebnisdatei besteht dann aus 12 Variablen. 4 mal 3
dann hab ich erstmal ein Problem, wie es zu diesen drei (nur drei!) Ergebnissen kommen kann.
wo ist true-negativ!
..Dein Problem gibt es ja schon in der Diagnostik oder Signalentdeckungstheorie (googeln!),
man müsste sich da schlau machen wie solches da geprüft wird!
...Begrifflichkeiten Sensitivität und Spezifität...usw.
https://ibb.co/QHV9TYs
..also auf keine Fall bist du Multivariat! jede AV (drei) muss isoliert betrachtet werden
ob du das weiterrechnest zu drei übergeordneten (was ist F1 ???) Variablen, sehe gerade nicht wozu!
macht dann 6 ! ..das kann gar nicht Multi sein, da die drei übergeodneten sich aus den untergeordneten bilden!
..das kann die software gar nicht rechnen!!! (vermute ich!, weil die AVs linear abhängig sind!)
nächste Problem die Verteilung der AVs !!! ist das normalverteilt !
wenn nicht, dann ist das keine ANOVA oder lineare Regression !
..zudem steht die Gleichwertigkeit der Bücher in Frage!
das sollte man prüfen, sind manche Bücher leichter als andere!
wahrscheinlich!
...Stichprobe bei N = 20 Büchern ist eher klein!
Fraglich, ob da überhaut was signifikant wird!
...jedes Buch einzeln auswerten!!! du hast ja auch noch eine Stichproben N = 8 Schlagwörtern!!
das geht ganz unter bisher!!
..sind die Schlagwörter pro Buch gleich schwer gewählt ?
Lösung erstmal 6 ANOVAs mit vollständiger Messwiederholung mit 2x2 UV, für jede AV eine, aber wie gesagt...
gruß
dutchie
-
- Beiträge: 4
- Registriert: 21.12.2023, 12:50
Re: Multivariate multiple Regression oder MANOVA oder doch etwas anderes ?
Hallo dutchie,
danke für Deine Antwort und vielen Dank für Deine Hilfe. Das klingt deutlich komplexer als ich mir das vorgestellt hatte und die Wahrscheinlichkeit, dass ich irgendwo Fehler mache, geht gegen 100%. Von daher ist es wohl besser, mir an der Stelle meine mangelnde Kompetenz einzugestehen und es aus meiner Arbeit rauszulassen.
Vielen Dank für Deine Mühe und einen guten Rutsch ins Neue Jahr.
danke für Deine Antwort und vielen Dank für Deine Hilfe. Das klingt deutlich komplexer als ich mir das vorgestellt hatte und die Wahrscheinlichkeit, dass ich irgendwo Fehler mache, geht gegen 100%. Von daher ist es wohl besser, mir an der Stelle meine mangelnde Kompetenz einzugestehen und es aus meiner Arbeit rauszulassen.
Vielen Dank für Deine Mühe und einen guten Rutsch ins Neue Jahr.