Reliabilität/Validität bei 3 Messungen zu 2 Messzeitpunkten

[anmuehlchen]

Hallo liebe Statistiker,

ich komme leider nicht mit der statistischen Auswertung meiner Studie weiter, daher wende ich mich in meiner Not an euch.
Folgende Aussgangslage liegt vor:

Ich möchte untersuchen, wie genau ein neu entwickelter Bewegungssensor für Kniepatienten im Vergleich zum Goldstandard misst.
Das Test-Retest-Design sieht dabei wie folgt aus:

1. Messtag: Linkes Bein - Rechtes Bein - Rechtes Bein - Linkes Bein
2. Messtag: Rechtes Bein - Linkes Bein

Bei jeder Messung wurden jeweils fünf Tests durchgeführt.
Ich habe also für jedes Bein und jeden Test imsgesamt sechs Messreihen (Bewegungssensor vs. Goldstandard).

Beispiel:
Winkelmessung linkes Bein: 1. Messtag, 1. Messung: 110° vs. 100° (+10°)/ 1. Messtag 2. Messung: 112° vs. 105°(+7°)
2. Messtag: 115° vs. 100°(+15°)

Soweit ich weiß, muss ich für die Berechnung der Validität den Korrelationskoeffizienten zwischen allen drei Messdifferenzen (+10°,+7°,+15°) berechnen.

Bei der Reliabilitätsanalyse bin ich mir aber unsicher. Muss ich, um das Test-Retest-Szenario aufrechtzuerhalten, Messung 1 und 2 vom ersten Messtag zusammenfassen, um sie mit der Messung vom zweiten Messtag vergleichen zu können? Und verwende ich für die Berechnung die Differenzen (10,7,15) oder die gesamte Messreihe (110 vs. 100, 112 vs. 105, 115 vs. 100)?

Mich irrtiert die Vorgabe der zweiten Messung am ersten Messtag und weiß nicht, wie ich die in der Berechnung verwenden darf. Es sind ja streng genommen keine drei Messzeitpunkte oder?

Ich hoffe ich konnte euch mein Anliegen halbwegs verständlich rüberbringen und jemand hat vielleicht einen Tipp für mich.

Vielen, vielen Dank schonmal!

[dutchie]

Hallo anmuehlchen

Also ich hab nicht verstanden wie oft wann was Test Messung 5 Test 6 Messreihen...

Hat sich denn das was gemessen werden sollte (irgendein Winkel?)
im Lauf der Messungen verändert oder soll immer der gleiche Winkel gemessen werden...
kennt man den wahren Winkel oder nur seine Messungen?

Mich irrtiert die Vorgabe der zweiten Messung am ersten Messtag und weiß nicht, wie ich die in der Berechnung verwenden darf. Es sind ja streng genommen keine drei Messzeitpunkte oder?

Warum, weil der winkel sich zwischenzeitlich nicht gändert hat?

gruß so weit
dutchie

[anmuehlchen]

Hallo anmuehlchen

Also ich hab nicht verstanden wie oft wann was Test Messung 5 Test 6 Messreihen...

Hat sich denn das was gemessen werden sollte (irgendein Winkel?)
im Lauf der Messungen verändert oder soll immer der gleiche Winkel gemessen werden...
kennt man den wahren Winkel oder nur seine Messungen?

Mich irrtiert die Vorgabe der zweiten Messung am ersten Messtag und weiß nicht, wie ich die in der Berechnung verwenden darf. Es sind ja streng genommen keine drei Messzeitpunkte oder?

Warum, weil der winkel sich zwischenzeitlich nicht gändert hat?

gruß so weit
dutchie

Hallo dutchie,

vielen Dank für deine Nachricht.

Ingesamt misst der Sensor 5 Tests. Jeder Test wird parallel mit dem Goldstandard gemessen, um die Messgenauigkeit vergleichen zu können. Der wahre Winkel ist also das Messergebnis mit dem Goldstandard. Die Winkel beziehn sich auf die Kniewinkel (also Beugefähigkeit des Beines). Man kann davon ausgehen, dass dieser Wert nicht immer exakt derselbe ist und sich verändert.

Jedes Bein wird dabei 3 mal mit allen 5 Tests gemessen. Am ersten Messtag Links - Rechts - Rechts - Links. Am zweiten Messtag Rechts - Links.

Ich hoffe ich konnte deine Rückfragen verständlich beantworten.

Vielen Dank für deine Mühe!

Beste Grüße

[dutchie]

Hallo

Jedes Bein wird dabei 3 mal mit allen 5 Tests gemessen

Ingesamt misst der Sensor 5 Tests.

sorry Ich kann mit vorstellen, dass der Sensor in kurzem Abstand den Winkel 5 mal mißt.
Dies passiert drei mal?
Test? ok insofern man den wahren zu kennen glaubt (goldstandard) ist das ein Test.

Valide ist das, weil es werden ja Winkel gemessen, was ja geschehen soll.

Gemessen wird die also Beugefähigkeit des Beines. das ist doch ein zeitlicher Vorgang?
oder differenz zwischen Start ---so jetzt bitte beugen! ---und entzustand?

Auf jeden Fall hat das linke Bein einen anderen Winkel als das rechte, oder?

drei mal linkes Bein, drei mal rechtes Bein das irgendwie 5 mal.
Die 5, was auch immer, produzieren mir einen Winkel.

so langsam: also du hast insgesamt 6 Messungen eines Wertes, 3mal Gold und 3mal NEU.

Ist die messung links von der Messung rechts abhängig oder unabhängig?
ich würde das als unabhängig werten und links unter rechts anordnen in derSPSS datei
und somit die Stichprobenzahl verdoppeln (z.B. n=34 VP mal 2 = 68 Messungen = Stichprbengröße)
jede VP bringt zwei Winkel mit! Jetzt gehts darum ob sich die zu messende Beugefähigkeit zwischen den Messungen verändert.
Das kann ich mir aber irgendwie vorstellen.

so weit, gruß
Dutchie

[anmuehlchen]

Gemessen wird die also Beugefähigkeit des Beines. das ist doch ein zeitlicher Vorgang?
oder differenz zwischen Start ---so jetzt bitte beugen! ---und entzustand?

Es wird nur der Endzustand gemessen. Der Proband beugt das Bein soweit er kann. Der Winkel in der maximalen Beugung wird gemessen. Goldstandard ist hier ein Goniometer.

Auf jeden Fall hat das linke Bein einen anderen Winkel als das rechte, oder?

Ja

Ist die messung links von der Messung rechts abhängig oder unabhängig?

Messung links ist von der Messung rechts unabhängig.

Jetzt gehts darum ob sich die zu messende Beugefähigkeit zwischen den Messungen verändert.
Das kann ich mir aber irgendwie vorstellen.

Die zu messende Beugefähigkeit verändert sich minimal zwischen den Messungen.


Danke für deine Mühe und beste Grüße,
anmuehlchen

[dutchie]

Hallo

und wie gehen wir jetzt vor?

Also ich würde erstmal für jedes Bein und jede Methode Mittelwert und Varianz der drei Messungen berechnen.
plus die Differenzen der Methoden zwischen diesen Mittelwert und für jede Messung.
Dann kann man für jede Methode ICC oder Cronbach alpha berechnen.

Dann Verteilung und einfach mal Statistiken der Unterschiede, überschätzt oder unterschätzt die neue Methode die Alte?
hängt der Unterschied vom Winkel ab, je größer der Winkel umso ungenauer die Messung?

Die Varianz pro Bein pro Methode ist quasi der Messfehler, wenn der Winkel konstant bliebe.
Hängt diese Varianz vom Winkel ab?

gruß
Dutchie

[anmuehlchen]

Hallo

und wie gehen wir jetzt vor?

Also ich würde erstmal für jedes Bein und jede Methode Mittelwert und Varianz der drei Messungen berechnen.
plus die Differenzen der Methoden zwischen diesen Mittelwert und für jede Messung.
Dann kann man für jede Methode ICC oder Cronbach alpha berechnen.

Dann Verteilung und einfach mal Statistiken der Unterschiede, überschätzt oder unterschätzt die neue Methode die Alte?
hängt der Unterschied vom Winkel ab, je größer der Winkel umso ungenauer die Messung?

Die Varianz pro Bein pro Methode ist quasi der Messfehler, wenn der Winkel konstant bliebe.
Hängt diese Varianz vom Winkel ab?

Super danke dir!
Mittelwerte der einzelnen Methoden und der Differenzen habe ich bereits vorliegen.
Ich habe also
Rechtes Bein: 3x Mittelwert Sensormessung + 3x Mittelwert Vergleichmessung
Linkes Bein: 3x Mittelwert Sensormessung + 3x Mittelwert Vergleichsmessung

Füge ich dann für die Berechnung von Cronbach alpha in SPSS alle 12 Mittelwerte in SPSS ein? Bzw. alle 6 für die Berechnung eines Beins? Oder berechne ich alpha getrennt einmal für die Sensormessung und einmal für die Vergleichsmessung? Aber dann hätte ich keinen Bezug zwischen den beiden Messmethoden...
Sorry das ich so viele Rückfragen stelle

Danke dir!

[dutchie]

Hallo anmuehlchen

Ich würde erstmal für beide getrennt, du kannst dann ja vergleichen bei welcher Methode
CronAlpha größer ist. Allerdings kannst du das nicht testen (über signifikanz, soweit ich weiß),
Aber ich glaube das wird nicht viel bringen, weil die Messungen bestimmt sehr konsistent sind,
also bei gegebenen Winkel die Messungen sehr gleich ausfallen, und vermutlich nicht viel Fehlerstreuung da ist.

Zumal der Winkel auch nicht konstant, und so nicht zwischen Fehler der Messung und tatsächlicher Winkeländerung
(wenn auch nur leicht) zu unterscheiden ist.

Wichtig ist auch wie die Verteilung der Winkel aussieht,
Der winkel kann zwischen welchen werten liegen ?
0 Grad und 180 Grad ??? (das ist jetzt geraten)
Also wie groß ist die Unterschiedlichkeit zwischen den getesteten Personen?

Wieviel Personen hast du getestet und haben die alle eine Diagnose?

gruß
dutchie