Hi,
ich habe folgendes Problem. Ich untersuche den Zusammenhang von verschiedenen UVs auf eine AV mittels einer multiplen Regression. Bei der Analyse ist insbesondere von Interesse, welche UVs in welchem Ausmaß die AV beeinflussen, d.h. mich interessieren die signifikanten Betakoeffizieten mit den höchsten Regressionsgewichten (alle Variablen haben die gleiche Skalierung).
Problem ist, dass viele der UVs miteinander korreliert sind. Ausschluss der betreffenden Variablen oder eine PCA kommen nicht in Frage, da sonst Informationen zu den UVs verloren gehen.
Sind die UVs untereinander korreliert können die Betakoeffizienten nur noch sehr ungenau geschätzt und der Einfluss einzelner Variablen schlecht isoliert werden. Somit ist es schwierig den Einfluss der UVs auf die AV zu bestimmen.
Ich bin auf die Ridge Regression gestoßen, die eine Lösung für das Problem zu bieten scheint. Ridge Regression schrumpft die Betakoeffizieten, um dadurch die Varianz zu reduzieren, d.h. die Streuung um den "wahren" Wert ist über verschiedene Stichproben hinweg geringer. Andererseits werden die Koeffizienten verzerrt, d.h. sie entsprechen im Durschnitt nicht mehr dem "wahren" Wert in der Population.
Wäre das in meinem Fall eine sinnvolle Methode? Die Ridge Regression ermöglicht es mir, dass dass Modell über verschiedene Samples hinweg weniger ungenau ist. Wie sieht es aber mit der Interpretation der Ergebnisse aus. Kann ich die Betakoeffizieten genauso interpretieren wie bei einer gewöhnlichen Regression. Sind beispielsweise alle UVs unkorreliert und haben alle UVs die gleiche Skalierung, kann ich sagen, dass die Variable mit dem größten Regressionsgewicht (vorausgesetzt es ist signifikant) den stärksten Einfluss auf die AV ausübt. Ob das bei der Ridge Regression sinnvoll ist erschließt sich mir im Moment noch nicht.
Über eine Antwort würde ich mich freuen.
Ridge Regression
-
dutchie
- Beiträge: 2762
- Registriert: 01.02.2018, 10:45
Re: Ridge Regression
Hallo Branjo
...bei PCA geht information verlohren? ...was verlohren geht ist eher Fehlervarainz!
Ich hab mir das Ridge Zeugs z.B (auf Wiki) schon paarmal durchgelesen, kann nicht sagen, dass ich
das vollständig versteht, ist aber eher sowas wie ein mathematischer Zaubertrick, der das rechenen ermöglicht!
Glaub aber nicht das, dass dein Problem damit gelöst wird!
du musst über hierarchische regression rechnen und immer auf erweiterung des modells testen!
und mit Venn diagramme unterscheiden, was durch eine Varaible einzig aufgeklärt wird,
und was mit anderen Varaiblen gemeinsam,
(das funzt aber nur gut bei zwei Prädiktoren...)
wenn die betas "ungenau" geschätzt sind, mach eine Kreuzvalidierung..schau dir die SE der Betas an sind die
unüblich hoch?
wenn die Variablen korreliert sind, ist das Modell also Rquadrat dann auch hoch?
du mußt weniger statitisch denken, sondern eher inhaltlich?
gruß
dutchie
...bei PCA geht information verlohren? ...was verlohren geht ist eher Fehlervarainz!
Ich hab mir das Ridge Zeugs z.B (auf Wiki) schon paarmal durchgelesen, kann nicht sagen, dass ich
das vollständig versteht, ist aber eher sowas wie ein mathematischer Zaubertrick, der das rechenen ermöglicht!
Glaub aber nicht das, dass dein Problem damit gelöst wird!
du musst über hierarchische regression rechnen und immer auf erweiterung des modells testen!
und mit Venn diagramme unterscheiden, was durch eine Varaible einzig aufgeklärt wird,
und was mit anderen Varaiblen gemeinsam,
(das funzt aber nur gut bei zwei Prädiktoren...)
wo ist obiger satz her, oder ist der von dir?Branjo hat geschrieben:Sind die UVs untereinander korreliert können die Betakoeffizienten nur noch sehr ungenau geschätzt und der Einfluss einzelner Variablen schlecht isoliert werden.
wenn die betas "ungenau" geschätzt sind, mach eine Kreuzvalidierung..schau dir die SE der Betas an sind die
unüblich hoch?
wenn die Variablen korreliert sind, ist das Modell also Rquadrat dann auch hoch?
du mußt weniger statitisch denken, sondern eher inhaltlich?
gruß
dutchie
-
Branjo
- Beiträge: 4
- Registriert: 12.08.2019, 12:16
Re: Ridge Regression
Hi duchtie,
danke für deine Antwort.
Ein Beispiel: In der MaFo untersucht man häufig den Einfluss von UVs z.B. Facetten des Markenimages auf Outcomes (AV) wie die Kundenzufriedenheit. Der Kunde möchte wissen, welchen Einfluss die einzelnen UVs haben. Ausschluss kommt da nicht in Frage, da den Kunden alle Variablen interessieren.
Mit "da sonst Informationen zu den UVs verloren gehen" meinte ich, dass Variablen "zusammengefasst" werden, was ich vermeiden will (s.o.).
Der Satz "Sind die UVs untereinander korreliert können die Betakoeffizienten nur noch sehr ungenau geschätzt und der Einfluss einzelner Variablen schlecht isoliert werden", ist natürlich (inhaltlich) nicht von mir, sondern Statistikbüchern entnommen (z.B. Eid, Gollwitzer & Schmitt 2013; Hastie, Tibshirani & Friedman 2009). Korrelieren die UVs hoch, steigen die Standardfehler und die die Betakoeffizieten sind nicht mehr signifikant (Im Extremfall, d.h. einer Korrelation von 1 zweier Prädiktoren gibt es unendlich viele Kombination für B1 und B2 die zum gleichen Ergebnis führen). Dadurch kann ich nicht mehr sagen, ob bzw. welchen Einfluss die betreffenden Variablen auf die UV haben. Das Modell an sich ist natürlich korrekt (BLUE). Ich könnte eine Bestsubset, Vorwärts- oder Rückwärtsselektion durchführen und dann das entsprechende Modell wählen. Dadurch würde ich aber Variablen ausschließen (s.o.).
Eine Kreuzvalidierung habe ich bereits gemacht. Die ist auch notwendig um „Lambda“, den Schrumpfungsparameter, festzulegen. Dabei hat sich auch gezeigt, die Regression (OLS) sehr streut, d.h. ich bekomme einen recht hohen Root mean squared Error. Mit der Ridge Regression ist er deutlich geringer, d.h. das Modell hat eine geringere Varianz. Zudem habe ich eine Simulation durchgeführt, d.h. Betas der Regression (OLS) und die der Ridge Regression mit den Populationsbetas verglichen. Die der Ridge Regression waren weniger weit weg als die OLS. Stimmig war das Ergebnis aber nicht.
Multikollinearität hat keinen Einfluss auf das R2, außer, dass es nur marginal ansteigt, mit jedem zusätzlichen Prädiktor, den ich in das Modell aufnehme.
Aber zurück zur Frage, d.h. inwieweit sich die Betakoeffizieten der Ridge Regression interpretieren lassen. Bei der Ridge Regression hat man einen Gruppierungseffekt, d.h. sind UVs mit 1 korreliert erhalten sie das gleiche Regressionsgewicht. Das spricht für dieses Verfahren. Allerdings bin ich mir nicht sicher wie verlässlich die Betakoeffizienten an sich sind, da sie absichtlich verzerrt werden, um die Varianz zu minimieren. Hierzu finde ich in keinem Buch, Blog oder sonst wo eine Antwort. Um das Verfahren mathematisch im Detail nachvolliehen zu können, muss man sich mit Vektornormen und der matrixalgebraischen Bestimmung der Regressionskoeffizienten auskennen, was ich leider nicht verstehe. In einigen wenigen Papern der Geisteswissenschaften (z.B. der Psychologie oder der Ökonometrie) wird die Ridge Regression verwendet und die Betakoeffizieten gemäß der OLS interpretiert. In der Biostatistik, etwa bei der Geanalyse wird sie öfter verwendet, da die Anzahl der Variablen (Gene) häufig die Anzahl der Fälle übersteigt. Sicher macht mich das aber nicht.
BG
Branjo
danke für deine Antwort.
Ein Beispiel: In der MaFo untersucht man häufig den Einfluss von UVs z.B. Facetten des Markenimages auf Outcomes (AV) wie die Kundenzufriedenheit. Der Kunde möchte wissen, welchen Einfluss die einzelnen UVs haben. Ausschluss kommt da nicht in Frage, da den Kunden alle Variablen interessieren.
Mit "da sonst Informationen zu den UVs verloren gehen" meinte ich, dass Variablen "zusammengefasst" werden, was ich vermeiden will (s.o.).
Der Satz "Sind die UVs untereinander korreliert können die Betakoeffizienten nur noch sehr ungenau geschätzt und der Einfluss einzelner Variablen schlecht isoliert werden", ist natürlich (inhaltlich) nicht von mir, sondern Statistikbüchern entnommen (z.B. Eid, Gollwitzer & Schmitt 2013; Hastie, Tibshirani & Friedman 2009). Korrelieren die UVs hoch, steigen die Standardfehler und die die Betakoeffizieten sind nicht mehr signifikant (Im Extremfall, d.h. einer Korrelation von 1 zweier Prädiktoren gibt es unendlich viele Kombination für B1 und B2 die zum gleichen Ergebnis führen). Dadurch kann ich nicht mehr sagen, ob bzw. welchen Einfluss die betreffenden Variablen auf die UV haben. Das Modell an sich ist natürlich korrekt (BLUE). Ich könnte eine Bestsubset, Vorwärts- oder Rückwärtsselektion durchführen und dann das entsprechende Modell wählen. Dadurch würde ich aber Variablen ausschließen (s.o.).
Eine Kreuzvalidierung habe ich bereits gemacht. Die ist auch notwendig um „Lambda“, den Schrumpfungsparameter, festzulegen. Dabei hat sich auch gezeigt, die Regression (OLS) sehr streut, d.h. ich bekomme einen recht hohen Root mean squared Error. Mit der Ridge Regression ist er deutlich geringer, d.h. das Modell hat eine geringere Varianz. Zudem habe ich eine Simulation durchgeführt, d.h. Betas der Regression (OLS) und die der Ridge Regression mit den Populationsbetas verglichen. Die der Ridge Regression waren weniger weit weg als die OLS. Stimmig war das Ergebnis aber nicht.
Multikollinearität hat keinen Einfluss auf das R2, außer, dass es nur marginal ansteigt, mit jedem zusätzlichen Prädiktor, den ich in das Modell aufnehme.
Aber zurück zur Frage, d.h. inwieweit sich die Betakoeffizieten der Ridge Regression interpretieren lassen. Bei der Ridge Regression hat man einen Gruppierungseffekt, d.h. sind UVs mit 1 korreliert erhalten sie das gleiche Regressionsgewicht. Das spricht für dieses Verfahren. Allerdings bin ich mir nicht sicher wie verlässlich die Betakoeffizienten an sich sind, da sie absichtlich verzerrt werden, um die Varianz zu minimieren. Hierzu finde ich in keinem Buch, Blog oder sonst wo eine Antwort. Um das Verfahren mathematisch im Detail nachvolliehen zu können, muss man sich mit Vektornormen und der matrixalgebraischen Bestimmung der Regressionskoeffizienten auskennen, was ich leider nicht verstehe. In einigen wenigen Papern der Geisteswissenschaften (z.B. der Psychologie oder der Ökonometrie) wird die Ridge Regression verwendet und die Betakoeffizieten gemäß der OLS interpretiert. In der Biostatistik, etwa bei der Geanalyse wird sie öfter verwendet, da die Anzahl der Variablen (Gene) häufig die Anzahl der Fälle übersteigt. Sicher macht mich das aber nicht.
BG
Branjo
-
dutchie
- Beiträge: 2762
- Registriert: 01.02.2018, 10:45
Re: Ridge Regression
hallo Branjo
Du kennst dich ja ziemlich gut aus...
Ich kenn im Augenblick nur was in Werner "Lineare Statistik" steht,
und hab auch Probleme das zu lesen...
, so weit ich verstanden hab:
Du tauscht einen erwatungstreuen Schätzer mit größer SE (OLS)
gegen einen nicht erwartungstreuen mit kleiner SE (Ridge).
Ich bin skeptisch, ob allgemeingültige mathematische Aussagen darüber möglich sind, weil die Ausgangslagen so
unterschiedlich sein können.
Du gehst zur Jagd und willst einen Hasen schießen, dies glingt aber nicht, nur mit großer Unsicherheit,
dafür schießt die lieber einen Elephanten, den du besser triffst! jetzt gibt es Elephantenbraten zum Essen.
(das war aber kein politisch korrektes Beispiel...), deine Frage bezieht sich darauf, ob das trotzdem geschmeckt hat!
keine ahnung..
Verwende doch die Betas aus OLS und die SE (also den Sigifikanztest) aus Ridge..
Überlegung: wenn das Beta aus OLS in beide signifikant nimmst du das beta aus OLS?
Schräg... weil zwei unterschiedliche betas gemeint sein können! das ein erwartungstreu, das andere nicht!
Da merk man doch schnell worum es eigentlich geht!...darum.. dinger signifikant zu kriegen, um verkauft zu werden!!
wenn die schätzungen nicht erwartungtreu sind, besteht die gefahr,
dass du in einer ganz anderen,fiktiven Population wilderst?
Dieses Risiko geht man doch nur ein wenn man am verhungern ist!
Dein Beispiel Genanalyse: Ridge oder gar nichts! dann besteht auch nicht die Möglichkeit mit OLS zu vergleichen.
simuliert?
Die Multiko bringt zwei problem mit sich, ein technisches SE Problem (Ridge)
und ein inhaltliches, woher hat das Kind die Intelligenz, vom Vater oder von der Mutter?
wenn IQ Vater mit IQ Mutter Korreliert! Da inhaltliche Problem wird durch Ridge doch gar nicht gelößt!!!
weil die Multiko nicht verschwindet!!
Die betas in der vollständigen Regression (mit allen UVs) beschreiben doch was sich in der AV ändert
wenn sich z.B. UV1 um 1 ändert, wenn der Rest konstant bleibt!
Ein anderes problem ist:
Welche UV muß ich um 1 ändern (wenn ich nur eine einzige UV und nur um den Betrag 1, ich hab nur einen schuß),
wenn ich die maximale Änderung der AV bewirken will!
Im ersten Fall hab ich eine Ansatz in Richtung Grundlagenforschung, im zweiten Fall Richtung Anwendung (MaFo)
und es würd eine einfach Regression genügen!
Wenn zwei Variablen zu 1 korrelieren, geht keine Information verlohren, wenn man eine Variable einfach eliminiert!
und man nun so tut als ob sie sinnvoll ist! nur weil ne Zahl raus kommt...
oder: Mach ein Strukturgleichungsmodell mit PLS...da kriegst du die ganzen inter Korrelationen der UVs unter..
PLS ist schmerzfrei..wenn zwei Variablen zu 1 korrelieren, mach irgendwo +0,2...sieht spektakulär aus...
also in der MaFo nehmen die das!
gruß
dutchie
Du kennst dich ja ziemlich gut aus...
Ich kenn im Augenblick nur was in Werner "Lineare Statistik" steht,
und hab auch Probleme das zu lesen...
, so weit ich verstanden hab:Du tauscht einen erwatungstreuen Schätzer mit größer SE (OLS)
gegen einen nicht erwartungstreuen mit kleiner SE (Ridge).
Ich bin skeptisch, ob allgemeingültige mathematische Aussagen darüber möglich sind, weil die Ausgangslagen so
unterschiedlich sein können.
Du gehst zur Jagd und willst einen Hasen schießen, dies glingt aber nicht, nur mit großer Unsicherheit,
dafür schießt die lieber einen Elephanten, den du besser triffst! jetzt gibt es Elephantenbraten zum Essen.
(das war aber kein politisch korrektes Beispiel...), deine Frage bezieht sich darauf, ob das trotzdem geschmeckt hat!
keine ahnung..
Verwende doch die Betas aus OLS und die SE (also den Sigifikanztest) aus Ridge..
Überlegung: wenn das Beta aus OLS in beide signifikant nimmst du das beta aus OLS?
Schräg... weil zwei unterschiedliche betas gemeint sein können! das ein erwartungstreu, das andere nicht!
Da merk man doch schnell worum es eigentlich geht!...darum.. dinger signifikant zu kriegen, um verkauft zu werden!!
wenn die schätzungen nicht erwartungtreu sind, besteht die gefahr,
dass du in einer ganz anderen,fiktiven Population wilderst?
Dieses Risiko geht man doch nur ein wenn man am verhungern ist!
Dein Beispiel Genanalyse: Ridge oder gar nichts! dann besteht auch nicht die Möglichkeit mit OLS zu vergleichen.
Wie hast du das Simuliert? hast du genau deine Konstellation an UV Anzahl und Ausmaß der Multiko.Branjo hat geschrieben:Stimmig war das Ergebnis aber nicht.
simuliert?
Die Multiko bringt zwei problem mit sich, ein technisches SE Problem (Ridge)
und ein inhaltliches, woher hat das Kind die Intelligenz, vom Vater oder von der Mutter?
wenn IQ Vater mit IQ Mutter Korreliert! Da inhaltliche Problem wird durch Ridge doch gar nicht gelößt!!!
weil die Multiko nicht verschwindet!!
Die betas in der vollständigen Regression (mit allen UVs) beschreiben doch was sich in der AV ändert
wenn sich z.B. UV1 um 1 ändert, wenn der Rest konstant bleibt!
Ein anderes problem ist:
Welche UV muß ich um 1 ändern (wenn ich nur eine einzige UV und nur um den Betrag 1, ich hab nur einen schuß),
wenn ich die maximale Änderung der AV bewirken will!
Im ersten Fall hab ich eine Ansatz in Richtung Grundlagenforschung, im zweiten Fall Richtung Anwendung (MaFo)
und es würd eine einfach Regression genügen!
Wenn zwei Variablen zu 1 korrelieren, geht keine Information verlohren, wenn man eine Variable einfach eliminiert!
Branjo hat geschrieben:Mit "da sonst Informationen zu den UVs verloren gehen" meinte ich, dass Variablen "zusammengefasst" werden, was ich vermeiden will (s.o.).
äh nein! Sehe ich anders...das spricht genau dagegen, weil es zu deinem Problem führt, weil eine an sich sinnlose Berechnung nun möglich ist.Branjo hat geschrieben: Das spricht für dieses Verfahren
und man nun so tut als ob sie sinnvoll ist! nur weil ne Zahl raus kommt...
oder: Mach ein Strukturgleichungsmodell mit PLS...da kriegst du die ganzen inter Korrelationen der UVs unter..
PLS ist schmerzfrei..wenn zwei Variablen zu 1 korrelieren, mach irgendwo +0,2...sieht spektakulär aus...
also in der MaFo nehmen die das!
gruß
dutchie
-
Branjo
- Beiträge: 4
- Registriert: 12.08.2019, 12:16
Re: Ridge Regression
Hi dutchie,
nochmals danke für deine Antwort und deine Geduld.
Allgemeine mathematische Aussagen kann man darüber sicher treffen, dann wird es aber noch komplizierter als es jetzt schon ist.
Ein „wahres Modell“ kann ich mit der OLS auch nicht rechnen. Die Regression ist unverzerrt, d.h. wende ich das Modell unendlich oft auf Stichproben der interessierenden Population an, erhalte ich die „wahren Betas“ der Population. Allerdings sind die Betas, die ich aus meiner Stichprobe erhalte, nicht „wahr“. Sie liegen irgendwo in dem Konfidenzintervall, dass ich aus meinen Standardfehlern berechne. Ist das sehr groß (Stichwort: Varianz) kann es sein, dass ich zu Unrecht einigen Prädiktoren das falsche Gewicht beimesse, was zu Fehlinterpretationen führt. Die der Ridge Regression sind verzerrt, d.h. wende ich das Modell unendlich oft auf meine Stichproben an erhalte ich nicht die „wahren Betas“, aber sie haben eine geringere Varianz. Sie werden (in diesem Fall) dennoch näher an den wahren Betas sein als die der linearen Regression (siehe Kreuzvalidierung). Allerdings werden sie kleiner sein als die der OLS. Die Frage ist, ob sie nicht nur kleiner sind, sondern auch, ob ihre inhaltliche Struktur stimmig ist. Dass sie das eigentlich sein müsste, zeigen die Ergebnisse der Kreuzvalidierung. Letztendlich ist es nichts anderes als hätte ich einen nicht-linearen Zusammenhang, den ich mit einer polynomialen Regression berechne. Das Modell hat eine niedrigeres R2 als die lineare Regression. Allerdings zeigt das Modell hohe Standardfehler. Deswegen schalte ich einen Gang zurück und nehme das lineare Modell, wohlwissend dass sie den Zusammenhang schlechter modelliert.
Simulieren kann man Regressionen in Python oder R. In SPSS oder STATA muss es sowas aber auch geben. Entweder man schreibt den Code selbst oder verwendet Module bzw. Packages. Festlegen kann man viel, etwa die Stichprobengröße, die Anzahl der Samples, die Anzahl der Prädiktoren, die Anzahl relevanter Prädiktoren (Beta = 0), das Ausmaß der Multikollinearität oder das R2.
Wenn Variablen miteinander korrelieren, bedeutet das nicht, dass man sie ausschließen oder zusammenfassen kann. Teilweise gibt es logische Erklärungen dafür, warum das so ist z.B. Eisverkäufe und Sonnenbrand oder Größe und Schuhgröße. Manchmal gibt es keine Erklärung dafür, warum Variablen miteinander korrelieren. Beiden dann ein ähnliches Gewicht beizumessen finde ich nicht falsch.
Die Idee mit dem Strukturgleichungsmodell werde ich ausprobieren. Dennoch wurmt es mich die Ridge Regression nicht nachvollziehen zu können. Wenn sie in Papern angewendet wird, müssten die Peers eigentlich meckern, falls sie nichts taugt.
BG
Branjo
nochmals danke für deine Antwort und deine Geduld.
Allgemeine mathematische Aussagen kann man darüber sicher treffen, dann wird es aber noch komplizierter als es jetzt schon ist.
Ein „wahres Modell“ kann ich mit der OLS auch nicht rechnen. Die Regression ist unverzerrt, d.h. wende ich das Modell unendlich oft auf Stichproben der interessierenden Population an, erhalte ich die „wahren Betas“ der Population. Allerdings sind die Betas, die ich aus meiner Stichprobe erhalte, nicht „wahr“. Sie liegen irgendwo in dem Konfidenzintervall, dass ich aus meinen Standardfehlern berechne. Ist das sehr groß (Stichwort: Varianz) kann es sein, dass ich zu Unrecht einigen Prädiktoren das falsche Gewicht beimesse, was zu Fehlinterpretationen führt. Die der Ridge Regression sind verzerrt, d.h. wende ich das Modell unendlich oft auf meine Stichproben an erhalte ich nicht die „wahren Betas“, aber sie haben eine geringere Varianz. Sie werden (in diesem Fall) dennoch näher an den wahren Betas sein als die der linearen Regression (siehe Kreuzvalidierung). Allerdings werden sie kleiner sein als die der OLS. Die Frage ist, ob sie nicht nur kleiner sind, sondern auch, ob ihre inhaltliche Struktur stimmig ist. Dass sie das eigentlich sein müsste, zeigen die Ergebnisse der Kreuzvalidierung. Letztendlich ist es nichts anderes als hätte ich einen nicht-linearen Zusammenhang, den ich mit einer polynomialen Regression berechne. Das Modell hat eine niedrigeres R2 als die lineare Regression. Allerdings zeigt das Modell hohe Standardfehler. Deswegen schalte ich einen Gang zurück und nehme das lineare Modell, wohlwissend dass sie den Zusammenhang schlechter modelliert.
Simulieren kann man Regressionen in Python oder R. In SPSS oder STATA muss es sowas aber auch geben. Entweder man schreibt den Code selbst oder verwendet Module bzw. Packages. Festlegen kann man viel, etwa die Stichprobengröße, die Anzahl der Samples, die Anzahl der Prädiktoren, die Anzahl relevanter Prädiktoren (Beta = 0), das Ausmaß der Multikollinearität oder das R2.
Wenn Variablen miteinander korrelieren, bedeutet das nicht, dass man sie ausschließen oder zusammenfassen kann. Teilweise gibt es logische Erklärungen dafür, warum das so ist z.B. Eisverkäufe und Sonnenbrand oder Größe und Schuhgröße. Manchmal gibt es keine Erklärung dafür, warum Variablen miteinander korrelieren. Beiden dann ein ähnliches Gewicht beizumessen finde ich nicht falsch.
Die Idee mit dem Strukturgleichungsmodell werde ich ausprobieren. Dennoch wurmt es mich die Ridge Regression nicht nachvollziehen zu können. Wenn sie in Papern angewendet wird, müssten die Peers eigentlich meckern, falls sie nichts taugt.
BG
Branjo
-
dutchie
- Beiträge: 2762
- Registriert: 01.02.2018, 10:45
Re: Ridge Regression
hallo Branjo
... kann ich nicht allem zustimmen!
Es ist doch wichtiger zu treffen was ich treffen will (OLS), gerade wenn man eine reale Population trellen will!
https://statistik-und-beratung.de/2016/03/2552/
mal schauen Spielchen Reliabilttät (SE) und Validität (verzerrt)
wenn alle betas verzerrt sind, stellt sich die frage inwiefern? wenn ich betas vergleichen will!
weil dann kommt zum SE bias noch der Validitäts bias dazu und die verkleinerte SE allein reicht nicht.
und Multiko (ich will immer Multikulti schreiben
) ist kein ausschlußkriterium oder keine Multiko ein Vorrausetzung von OLS..
Regression ist gemacht um mit der korreliertheit der UVs umzugehen !
wie das bei Ridge ist weiß ich nicht...
Aus meiner sich stellt sich die Frage OLS oder Ridge gar nicht!
Es gibt situationen das geht nur Ridge!! z.B wenn Fälle kleiner Variablenzahl.
oder wenn prädiktoren zu 1 korrelieren und die in die analyse rein sollen (warum auch Immer)
in diesen Fällen ist OLS rechnerisch nicht möglich!
Ridge zu nehmen damit SE kleiner wird und betas signifikant zu kriegen, ist fragwürdig?
Und zur simulation..da muss man viel simulieren..ist ja nicht so, das du dein ergebnis verallgemeinern kannst!
...
Was ist dein ziel? etwas zu verstehen oder etwas vorherzusagen! das kann sich wiedersprechen!
"The primary purpose of regularized regression, like supervised machine learning
methods more generally, is prediction. Regularized regression typically does not produce
estimates that can be interpreted as causal and statistical inference on these coefficients
is complicated."
This is an active area of research, see for example Buhlmann (2013); Meinshausen et al. (2009);
Weilenmann et al. (2017); Wasserman and Roeder (2009); Lockhart et al. (2014).
aus Ahrens, A., C. B. Hansen, and M. E. Schaffer. 2019.
gruß
dutchie
... kann ich nicht allem zustimmen!
Es ist doch wichtiger zu treffen was ich treffen will (OLS), gerade wenn man eine reale Population trellen will!
nein.. sind näher am falschen, weil sie nicht erwatungstreu (verzerrt) sind:Branjo hat geschrieben:Sie werden (in diesem Fall) dennoch näher an den wahren Betas sein als die der linearen Regression (si
https://statistik-und-beratung.de/2016/03/2552/
mal schauen Spielchen Reliabilttät (SE) und Validität (verzerrt)
wenn alle betas verzerrt sind, stellt sich die frage inwiefern? wenn ich betas vergleichen will!
weil dann kommt zum SE bias noch der Validitäts bias dazu und die verkleinerte SE allein reicht nicht.
und Multiko (ich will immer Multikulti schreiben
) ist kein ausschlußkriterium oder keine Multiko ein Vorrausetzung von OLS..Regression ist gemacht um mit der korreliertheit der UVs umzugehen !
wenn sie zu 1 korrelieren, bivariat oder multipel muss man sie ausschließen..OLSBranjo hat geschrieben:Wenn Variablen miteinander korrelieren, bedeutet das nicht, dass man sie ausschließen oder zusammenfassen kann
wie das bei Ridge ist weiß ich nicht...
Aus meiner sich stellt sich die Frage OLS oder Ridge gar nicht!
Es gibt situationen das geht nur Ridge!! z.B wenn Fälle kleiner Variablenzahl.
oder wenn prädiktoren zu 1 korrelieren und die in die analyse rein sollen (warum auch Immer)
in diesen Fällen ist OLS rechnerisch nicht möglich!
Ridge zu nehmen damit SE kleiner wird und betas signifikant zu kriegen, ist fragwürdig?
Und zur simulation..da muss man viel simulieren..ist ja nicht so, das du dein ergebnis verallgemeinern kannst!
...
was heißt schlechter, weil SE größer!?..Branjo hat geschrieben:Deswegen schalte ich einen Gang zurück und nehme das lineare Modell, wohlwissend dass sie den Zusammenhang schlechter modelliert.
Was ist dein ziel? etwas zu verstehen oder etwas vorherzusagen! das kann sich wiedersprechen!
"The primary purpose of regularized regression, like supervised machine learning
methods more generally, is prediction. Regularized regression typically does not produce
estimates that can be interpreted as causal and statistical inference on these coefficients
is complicated."
This is an active area of research, see for example Buhlmann (2013); Meinshausen et al. (2009);
Weilenmann et al. (2017); Wasserman and Roeder (2009); Lockhart et al. (2014).
aus Ahrens, A., C. B. Hansen, and M. E. Schaffer. 2019.
gruß
dutchie
