Refine
Document Type
- Doctoral Thesis (2)
- Article (1)
Has Fulltext
- yes (3)
Is part of the Bibliography
- no (3)
Keywords
- Constraints (2)
- Interaktion (2)
- Interaktionseffekte (2)
- Kollinearität (2)
- Multikollinearität (2)
- Restriktionen (2)
- SEM (2)
- Strukturgleichungsmodelle (2)
- Wechselwirkungseffekte (2)
- collinearity (2)
Institute
- Psychologie (3)
Background: Patient Reported Outcomes (PRO) are gaining more and more importance in the context of clinical trials. The assessment of PRO is frequently performed by questionnaires where the multiple items of a questionnaire are usually pooled within summarizing scores. These scores are used as variables to measure subjective aspects of treatments and diseases. In clinical research, the calculation of these scores is mostly kept very simple, e.g. by a simple summation of item values. In the medical literature, there is hardly any guidance for performing a refinements of questionnaires and for deducing adequate scores. In contrast, in psychometric literature, there are plenty of more sophisticated methods, which overcome typical assumptions made in traditional (sum) scores, however to the prize of more complicated algorithms, which might be difficult to communicate. When faced with the practical task to refine an existing questionnaire, there exist a clear gap of guidance for applied medical researchers. By this article we try to fill this important gap between psychometric theory and medical application by illustrating our methodological choices on the example of a clinical PRO questionnaire.
Methods: Based on our experiences with the refinement of the BCTOS, a PRO questionnaire to assess aesthetic and function after breast conserving therapy in breast cancer patients, we present the following general steps that we performed by refining the BCTOS questionnaire and its scores: 1. Refinement of the length of the questionnaire and the (item-factor) structure. 2. Selection of the factor score estimation method. 3. Validation of the refined questionnaire and scores with respect to validity, reliability and structure based on a validation cohort.
Results: Our step-step-step procedure helped us to shorten the current form of the BCTOS and to redefine the factor structure. By this, the compliance of patients can be increased and the interpretation of the results becomes more coherent.
Conclusions: We present a step-by-step procedure to refine an existing medical questionnaire along with its scores illustrated and discussed by the refinement of the BCTOS.
Trial registration: Due to the character of the study (no intervention study), no registration was performed.
Die vorliegende Arbeit befasst sich mit der übergeordneten Frage nach dem Einfluss der Multikollinearität bei der Spezifikation und Schätzung von latenten nichtlinearen Effekten in Strukturgleichungsmodellen. Da das Multikollinearitätsproblem in latenten nicht-linearen Strukturgleichungsmodellen bisher in der Literatur kaum Beachtung gefunden hat, wird als erstes die Frage beantwortet, welche Relevanz das Vorliegen von Multikollinearität in nichtlinearen Strukturgleichungsmodellen hat. Dabei wird aufgezeigt, dass Multikollinearität von Prädiktoren nicht nur bei linearen Strukturgleichungsmodellen ein Problem darstellt, sondern vor allem bei nicht-linearen Strukturgleichungsmodellen aufgrund des Vorhandenseins nicht-linearer Terme. Da nicht-lineare Terme untereinander in einem höheren Zusammenhang stehen können als lineare Terme eines Strukturmodells, kann es zu Scheineffekten und zu verzerrten Schätzungen der nichtlinearen Effekte kommen. Ein Teststärkeverlust tritt immer ein. Als zweites wird gezeigt, dass die am stärksten vertretene Ansatzklasse zur simultanen Schätzung von Interaktionseffekten und quadratischen Effekten, nämlich die Klasse der Produkt-Indikator-Ansätze, seit ihrer Erstpublikation durch Kenny und Judd (1984) Spezifikationsfehler aufweist, welche in ähnlicher Form auch in jüngeren Publikationen enthalten sind (z.B. bei Lee, Song & Poon, 2004). Spezifikationsfehler machen die ganze Ansatzklasse für Multikollinearität „anfällig“, so dass es theoretisch zu verzerrten Schätzungen oder Scheineffekten kommen muss. Es wird gezeigt, wie man die Spezifikationsfehler korrigieren kann, d.h. wie man die bestehenden Ansätze erweitern muss. Da die latente Prädiktorkorrelation Bestandteil der Spezifikationsfehler ist, stellt sich die Frage, wie groß die Verzerrungen sind, die sich bei der Anwendung der (unkorrigierten) Produkt-Indikator-Ansätze ergeben, wenn die Multikollinearität steigt. Um diese Frage zu beantworten, wird eine Simulationsstudie durchgeführt. Sie zeigt, dass der Zwei-Stufen-Ansatz von Ping (1996) verzerrte Schätzungen der nicht-linearen Effekte produziert. Dieser Ansatz ist ein Vertreter der Produkt-Indikator-Ansätze und enthält die besagten Spezifikationsfehler. In der Simulationsstudie wird außerdem gezeigt, dass die korrekte Erweiterung des Ansatzes von Jöreskog und Yang (1996) zu erwartungstreuen Schätzungen führt. Als drittes wird der Frage nachgegangen werden, welche theoretischen und empirischen Unterschiede zwischen den neuen verteilungsanalytischen Ansätzen LMS (Klein & Moosbrugger, 2000) und QML (Klein & Muthén, 2007), einerseits, und den klassischen Produkt-Indikator-Ansätzen, andererseits, zu erwarten sind. Dazu werden die theoretischen Eigenschaften der verteilungsanalytischen Verfahren, LMS und QML, untereinander und mit der Klasse der Produkt-Indikator-Ansätze verglichen. Ihre theoretischen Eigenschaften werden beim Vorliegen von Multikollinearität betrachtet. Illustriert werden die theoretischen Unterschiede anhand einer Simulationsstudie, die die Ansätze hinsichtlich ihrer Schätzeigenschaften bei steigender Multikollinearität miteinander vergleicht. In der Simulationsstudie werden die theoretisch herausgearbeiteten Vorteile der verteilungsanalytischen Verfahren, LMS und QML, bestätigt. In der Zusammenschau der theoretischen Überlegungen und der Ergebnisse aus den Simulationsstudien zeigt sich, dass Multikollinearität für alle Ansätze zur simultanen Schätzung multipler nicht-linearer Effekte eine Herausforderung ist. Die forschungspraktische und inhaltliche Relevanz des Multikollinearitätsproblems wird anhand eines Beispiels veranschaulicht. Für in jüngster Zeit diskutierte komplexere Modelle (z.B. moderierte Mediatormodelle) wird Multikollinearität ein Kernproblem sein, dem sich alle Ansätze werden stellen müssen oder für das neue Ansätze entwickelt werden müssen.
Die vorliegende Arbeit befasst sich mit der übergeordneten Frage nach dem Einfluss der Multikollinearität bei der Spezifikation und Schätzung von latenten nichtlinearen Effekten in Strukturgleichungsmodellen. Da das Multikollinearitätsproblem in latenten nicht-linearen Strukturgleichungsmodellen bisher in der Literatur kaum Beachtung gefunden hat, wird als erstes die Frage beantwortet, welche Relevanz das Vorliegen von Multikollinearität in nichtlinearen Strukturgleichungsmodellen hat. Dabei wird aufgezeigt, dass Multikollinearität von Prädiktoren nicht nur bei linearen Strukturgleichungsmodellen ein Problem darstellt, sondern vor allem bei nicht-linearen Strukturgleichungsmodellen aufgrund des Vorhandenseins nicht-linearer Terme. Da nicht-lineare Terme untereinander in einem höheren Zusammenhang stehen können als lineare Terme eines Strukturmodells, kann es zu Scheineffekten und zu verzerrten Schätzungen der nichtlinearen Effekte kommen. Ein Teststärkeverlust tritt immer ein. Als zweites wird gezeigt, dass die am stärksten vertretene Ansatzklasse zur simultanen Schätzung von Interaktionseffekten und quadratischen Effekten, nämlich die Klasse der Produkt-Indikator-Ansätze, seit ihrer Erstpublikation durch Kenny und Judd (1984) Spezifikationsfehler aufweist, welche in ähnlicher Form auch in jüngeren Publikationen enthalten sind (z.B. bei Lee, Song & Poon, 2004). Spezifikationsfehler machen die ganze Ansatzklasse für Multikollinearität „anfällig“, so dass es theoretisch zu verzerrten Schätzungen oder Scheineffekten kommen muss. Es wird gezeigt, wie man die Spezifikationsfehler korrigieren kann, d.h. wie man die bestehenden Ansätze erweitern muss. Da die latente Prädiktorkorrelation Bestandteil der Spezifikationsfehler ist, stellt sich die Frage, wie groß die Verzerrungen sind, die sich bei der Anwendung der (unkorrigierten) Produkt-Indikator-Ansätze ergeben, wenn die Multikollinearität steigt. Um diese Frage zu beantworten, wird eine Simulationsstudie durchgeführt. Sie zeigt, dass der Zwei-Stufen-Ansatz von Ping (1996) verzerrte Schätzungen der nicht-linearen Effekte produziert. Dieser Ansatz ist ein Vertreter der Produkt-Indikator-Ansätze und enthält die besagten Spezifikationsfehler. In der Simulationsstudie wird außerdem gezeigt, dass die korrekte Erweiterung des Ansatzes von Jöreskog und Yang (1996) zu erwartungstreuen Schätzungen führt. Als drittes wird der Frage nachgegangen werden, welche theoretischen und empirischen Unterschiede zwischen den neuen verteilungsanalytischen Ansätzen LMS (Klein & Moosbrugger, 2000) und QML (Klein & Muthén, 2007), einerseits, und den klassischen Produkt-Indikator-Ansätzen, andererseits, zu erwarten sind. Dazu werden die theoretischen Eigenschaften der verteilungsanalytischen Verfahren, LMS und QML, untereinander und mit der Klasse der Produkt-Indikator-Ansätze verglichen. Ihre theoretischen Eigenschaften werden beim Vorliegen von Multikollinearität betrachtet. Illustriert werden die theoretischen Unterschiede anhand einer Simulationsstudie, die die Ansätze hinsichtlich ihrer Schätzeigenschaften bei steigender Multikollinearität miteinander vergleicht. In der Simulationsstudie werden die theoretisch herausgearbeiteten Vorteile der verteilungsanalytischen Verfahren, LMS und QML, bestätigt. In der Zusammenschau der theoretischen Überlegungen und der Ergebnisse aus den Simulationsstudien zeigt sich, dass Multikollinearität für alle Ansätze zur simultanen Schätzung multipler nicht-linearer Effekte eine Herausforderung ist. Die forschungspraktische und inhaltliche Relevanz des Multikollinearitätsproblems wird anhand eines Beispiels veranschaulicht. Für in jüngster Zeit diskutierte komplexere Modelle (z.B. moderierte Mediatormodelle) wird Multikollinearität ein Kernproblem sein, dem sich alle Ansätze werden stellen müssen oder für das neue Ansätze entwickelt werden müssen.