ROC-Analyse, einige Untersuchungen immer negativ.

[christian29]

Hallo,

ich möchte eine ROC-Analyse durchführen. Ich bin mir nicht sicher ob das in meinem Fall überhaupt möglich ist, daher würd ich das ganze gern einmal vorstellen. Ich hoffe ich kann mich verständlich ausdrücken (kein Statistiker).

Wir führen in unserem Labor Sequenzierungen durch. Eine Sequenz von ca. 100 Positionen wird viele Male (ca 1.000.000) abgelesen. Eine der 100 Positionen ist die Zielposition an der versucht wird eine Mutation nachzuweisen. An dieser Position wird die Anzahl der abweichenden Basen von der Referenz gezählt. Da die Messmethode mit einem Fehler behaftet ist werden die übrigen 99 Positionen genutzt um das Signifikanzniveau zu etablieren. Über diese 99 Positionen wird der Mittelwert und die Standardabweichung des Hintergrundrauschens berechnet.

Aktuell werten wir die Zielposition als positiv wenn sie mehr als 3 Standardabweichungen vom Mittelwert abweicht. Da der Hintergrundfehler aber nicht wirklich normalverteilt ist, ist das eher eine Näherung. Es fehlt aber auch eine bessere mathematische Beschreibung des Fehlers, sodass wir weiter die Normalverteilung verwenden. Daher wollte ich eine ROC-Analyse erstellen und untersuchen, ob die 3-fache Standardabweichung tatsächlich am besten zwischen positiven und negativen Proben trennt oder ob nicht mehr oder weniger Standardabweichungen ein besserer cut-off sind.

Dabei ergibt sich aber eine Problem. Da etwa die Hälfte der Proben an der Zielposition sogar unter dem Mittelwert des Hintergrundrauschens liegen werden diese quasi nie positiv, es sei denn man akzeptiert auch eine negative Standardabweichung als cut-off, was auch irgendwie nicht logisch erscheint. Dadurch ergibt sich eine "Lücke" in der ROC-Kurve.

Ich habe euch den Plot der ROC-Kurve mal angehängt. Falls ihr bis hierhin gelesen habt schonmal vielen Dank. Also kurz gefragt kann man in diesem Fall überhaupt eine ROC-Analyse machen und wie geht man dann mit den immer negativen Proben um?

Vielen Dank und guten Rutsch!

Christian

Plot: https://ibb.co/b3tmJ4q

[dutchie]

Hallo,

spannend!

woher weiß man denn, dass die 99 Positionen, die zur
Bestimmung des "Rauschens" dienen, keine Mutation tragen?
Wenn doch, dann ist da ein Signal im Rauschen.

Da etwa die Hälfte der Proben an der Zielposition sogar unter dem Mittelwert des Hintergrundrauschens liegen

vermutlich liegt es aber generell stärker drüber als drunter!
also ist drunter eventuell nur das Rauschen der 100ten Position, die zufällig drunter liegt.

Die Hälfte ist viel, wenn sie das eigentlich nicht so sein soll.
wieso sogar?

da stellt sich die Frage wie ein Mutation sich bemerkbar macht, durch eine
"Erhöhung" von ..pips...was wird denn gemessen, denke mal ...
was mit elektroladungsfeldmagodings, ...gibt es da was negatives?

negative Standardabweichung als cut-off,

du meinst keine negative SD also sd = -3
sondern eine Abweichung nach unten, oder?
aber eine Abweichung nach unten, kann keine Mutation sein.

...ich weiß nicht, ob ich das alles verstanden hab,
insofern ist mein Beitarg etwas brainstormig und ...

gruß
dutchie

[christian29]

Hi,

danke für deine Antwort. Ich versuch mal die Fragen zu beantworten:

woher weiß man denn, dass die 99 Positionen, die zur
Bestimmung des "Rauschens" dienen, keine Mutation tragen?
Wenn doch, dann ist da ein Signal im Rauschen.

Guter Einwand, weiß man leider nicht. Es gibt aber aktuell zu wenig Sequenzierdaten von sicher negativen Proben um diese als Baseline zu verwenden. Daher ist das die einzige Möglichkeit. Wird bei einer zukünftigen Umsetzung im "echten Leben" aber mit Sicherheit mit sicher negativen Referenzdaten umgesetzt.

Da etwa die Hälfte der Proben an der Zielposition sogar unter dem Mittelwert des Hintergrundrauschens liegen

vermutlich liegt es aber generell stärker drüber als drunter!
also ist drunter eventuell nur das Rauschen der 100ten Position, die zufällig drunter liegt.

Die Hälfte ist viel, wenn sie das eigentlich nicht so sein soll.
wieso sogar?

Ja hast Recht. Die wirklich positiven Proben erreichen natürlich in den meisten Fällen auch ein Signal über dem Mittelwert. Daher ist es nur die Hälfte der tatsächlich negativen Proben die statistisch unter dem Mittelwert bleiben.

da stellt sich die Frage wie ein Mutation sich bemerkbar macht, durch eine
"Erhöhung" von ..pips...was wird denn gemessen, denke mal ...
was mit elektroladungsfeldmagodings, ...gibt es da was negatives?

Das ganze wird mittels Next generation Sequencing gemacht. Kurz gesagt bekommt man eine Textdatei am Ende heraus, wo untereinander ca. 1.000.000 mal die Sequenz der DNA-basen (A,C,G,T) an diesen 100 aufeinander folgenden Positionen aufgeführt ist. Die Referenz des Genoms ist bekannt und lässt sich nachschauen. Der Sequenzierer gibt auch eine "Wahrscheinlichkeit" an, dass die gelesene Base stimmt. Da die relevantesten Fehlerquellen aber in der Vorbereitung der Proben im Labor entstehen und für den Sequenzierer daher "unsichtbar" sind lohnt es nicht diese Wahrscheinlichkeit in die Berechnung mit einzubeziehen. Nur Proben mit insgesamt schlechter Sequenzierqualität werden herausgenommen.

negative Standardabweichung als cut-off,

du meinst keine negative SD also sd = -3
sondern eine Abweichung nach unten, oder?
aber eine Abweichung nach unten, kann keine Mutation sein.

Korrekt, genau da liegt meine Frage. Wie gehe ich mit den Proben um die eine negative SD haben. Die können in der ROC-Analyse ja nie sinnvollerweise positiv werden.

[dutchie]

Hallo,

symbolisiert jeder Kreis in der ROC einen Zustand des cut off Wertes.
Das ist dann aber keine "klassische" ROC.

Ist das nicht nur ein Streudiagramm in dem Spezi und Sensi
abgebildet werden für verschiedene cut-off Werte?

Hört die Kurve da auf, wo der cut-off unter den Mittelwert springt?

etwas verworren..

gruß
dutchie

[christian29]

symbolisiert jeder Kreis in der ROC einen Zustand des cut off Wertes.
Das ist dann aber keine "klassische" ROC.

Ist das nicht nur ein Streudiagramm in dem Spezi und Sensi
abgebildet werden für verschiedene cut-off Werte?

Hört die Kurve da auf, wo der cut-off unter den Mittelwert springt?

Hi dutchie,

Ja genau. Man kann ja für jede Probe errechnen wieviele Standardabweichungen die Zielposition über dem Mittelwert liegt. Für Proben mit Zielposition unter dem Mittelwert hab ich den cut-off auf 0 gesetzt. Dann hab ich die cut-offs absteigend sortiert und entsprechend für jeden cut-off Sensitivität und Spezifität errechnet und damit die Grafik erstellt.

Ich dachte das wäre eine "klassische" ROC, aber wie gesagt kein Statistiker.

LG Christian

[dutchie]

hallo,

ich bin immer noch ratlos

solche Daten

https://ibb.co/Y88Lc9P

führen zu solch einer ROC:

https://ibb.co/ZBBvw2F

wenn du z.B bei SPSS die Routine aufrufst
die Variable Mutation ist die Wahrheit, mit der man die Hits
füttern muss, die 5 Mutationen haben zu 25 41 41 eine aber nur zu 5 hits geführt
(irgend eine Zahl)

diese eine ist von nicht-Mutationen kaum zu unterscheiden.

wie entsteht jetzt eine ROC, der PC verschiebt von selber den cut off,
ein cut-off bei 3,5 macht 100 Sensitivität, bringt aber auch drei falsch positiv!

du prüfst eiegntlich nicht den cut off auf Güte, sondern das Verfahren der Diagnose.

gruß
dutchie

[christian29]

Hi,

das ist eigentlich fast das was ich gemacht habe. So sehen meine Daten aus:

https://ibb.co/xmKtCBM

SD_Pos ist der Faktor an Standardabweichungen mit dem der gemessene Wert über dem Mittelwert liegt. Relapse entspricht ob eine Mutation vorliegen soll oder nicht. Überall wo SD_Pos 0 ist war der Zielwert kleiner/gleich dem Mittelwert.

Dass die ROC nicht direkt die Güte eines cut-offs bewerten kann stimmt. Aber auch eine AUC lässt sich ja beispielsweise nicht sinnvoll berechnen mit den Daten wie ich sie im Moment habe oder?

LG Christian

[dutchie]

Hallo

AUC kannst du ja nicht mit der Hand rechnen!

und wenn du dir deine ROC mal anschaust
1- Spenzi ist ja falsch positiv! oder?
gesund als Mutation zu lablen.

dann hast du eine Sensi von nur 60%
und falsch positiv von 40 %
das ist doch sehr viel Fehler!!!!
da stimm doch was nicht.

setzt mal die negativen Werte wieder ein (das sind ja gar keine Varianzen)
und lass die ROC mal den PC berechnen

SD_Pos ist der Faktor an Standardabweichungen mit dem der gemessene Wert über dem Mittelwert liegt.

warum nimmst du nicht die gemessenen Werte
der PC setzt alle möglichen cut-off selber,
dann kann du gucken welcher cut-off 3 sigma ist

gruß
dutchie

[christian29]

Hey, musste ein wenig schmunzeln

ja die Ergebnisse sind nicht perfekt. Tatsächlich liegen wir damit aber in der erwartbaren Range. Unser aktueller cut-off kommt ca. bei 40% Sensitivität und 90% Spezifität heraus, give or take. Geht eben um biologische Prozesse und zwischen dem, was wir im Labor messen und dem biologischen Outcome liegen eine Menge unbekannter Variablen, sodass eine bessere Korrelation zum jetzigen Zeitpunkt ein Wunder wäre. Muss man eher als Grundstein für weitere Arbeit verstehen.

setzt mal die negativen Werte wieder ein (das sind ja gar keine Varianzen)
und lass die ROC mal den PC berechnen

Dann bekomm ich auch ne vollständige ROC:

https://ibb.co/2nfGY7Y

warum nimmst du nicht die gemessenen Werte
der PC setzt alle möglichen cut-off selber,
dann kann du gucken welcher cut-off 3 sigma ist

Dafür müsste man die gemessenen Werte erstmal irgendwie normalisieren. Die absolute Anzahl an Reads und damit auch die Anzahl an mutierten Reads kann zwischen einzelnen Messungen variieren.
Außerdem entfernen wir uns damit von meiner eigentlichen Fragestellung. Im Grunde gehts mir ja darum zu untersuchen ob 3 mal SD überhaupt der beste cut-off ist. Vielleicht ist dann die ROC doch einfach nicht die beste Herangehensweise. Irgendwie erschien es mir eine interessante Untersuchung zu sein für die Fragestellung, aber vielleicht macht das mathematisch doch keinen Sinn so.

AUC kannst du ja nicht mit der Hand rechnen!

Warum nicht? Die ROC sind doch nur Rechtecke nebeneinander, das ist doch easy gemacht oder nicht?

LG Christian

[dutchie]

Hallo,

dutchie hat geschrieben: ↑
06.01.2024, 15:29
AUC kannst du ja nicht mit der Hand rechnen!

Warum nicht? Die ROC sind doch nur Rechtecke nebeneinander, das ist doch easy gemacht oder nicht?

...na wenn du das so siehst, dann mal los!
.....(der PC kann das auch!)

Gruß
dutchie