Refine
Document Type
- Doctoral Thesis (2) (remove)
Language
- English (2)
Has Fulltext
- yes (2)
Is part of the Bibliography
- no (2)
Keywords
- Alignment (2) (remove)
Institute
Measuring teaching cross-culturally - the issue of measurement invariance and sources of bias
(2021)
Im Kontext der Globalisierung nimmt das Interesse daran, Unterricht vergleichend zwischen Bildungssystemen der ganzen Welt zu untersuchen, kontinuierlich zu (Paine et al., 2016). Unterricht ist einer der stärksten Prädiktoren für Lernergebnisse von Schülerinnen und Schülern (Hattie, 2009). Folglich bieten internationale Vergleiche die einmalige Möglichkeit von besonders erfolgreichen Bildungssystemen zu lernen und geben Auskunft über die Generalisierbarkeit beziehungsweise über die kulturellen Variationen von Unterricht und dessen Wirksamkeit. Gleichzeitig sind sie richtungsweisend für bildungspolitische Entscheidungen (Klieme, 2020). Zur Erfassung von Unterrichtsmerkmalen aus der Perspektive der beteiligten Lehrkräfte und Schülerinnen und Schüler werden häufig Fragebögen in internationalen Schulleistungsstudien eingesetzt. Erste empirische Befunde weisen jedoch daraufhin, dass die Fragebogenskalen oftmals nicht messinvariant sind (z.B. Desa, 2014; He & Kubacka, 2015; Nilsen & Gustafsson, 2016). Das bedeutet, dass Unterschiede in den Messwerten zwischen Bildungssystemen nicht automatisch genuine Unterschiede im gemessenen Konstrukt, wie beispielsweise Unterschiede in der Klassenführung, reflektieren. Stattdessen entstehen diese teilweise durch nicht intendierte kulturelle Variationen im Antwortprozess (Bias), beispielsweise durch kulturelle Unterschiede in der Bedeutung der Items zur Messung von Klassenführung oder durch kulturspezifische Antworttendenzen (van de Vijver & Leung, 1997). Eine fehlende Messinvarianz hat folgenreiche Konsequenzen, da valide (Mittelwerts-)Vergleiche von Unterrichtsmerkmalen zwischen Bildungssystemen nicht möglich sind und somit die umfangreichen Datensätze internationaler Studien nicht ausgeschöpft werden können (Davidov et al., 2018a). Dennoch mangelt es in der international vergleichenden Bildungsforschung bisher an empirischen Studien, die mit fortgeschrittenen Analysemethoden die Messinvarianz von Unterrichtsmerkmalen prüfen, sowie an empirisch-fundierten Erkenntnissen zu den Ursachen der oftmals fehlenden Invarianz. Mit einer Kombination aus quantitativen und qualitativen Methoden widmet sich die vorliegende Dissertation in drei Beiträgen der Aufarbeitung dieser Forschungslücke. Sie konzentriert sich auf Fragebogenskalen zur Messung von zwei generischen Unterrichtsmerkmalen aus der Perspektive von Schülerinnen und Schülern, der Unterrichtsqualität mit den Dimensionen Klassenführung, konstruktive Unterstützung und kognitive Aktivierung und den Unterrichtsmethoden mit den Dimensionen lehrerzentrierte und schülerzentrierte Methoden und Methoden des Assessments.
Beitrag I prüft die Messinvarianz von PISA Skalen zur Erfassung der drei Basisdimensionen der Unterrichtsqualität zwischen 15 Bildungssystemen. Zusätzlich wird untersucht, ob die kulturelle Ähnlichkeit (operationalisiert als ähnliche oder identische Sprache) der Bildungssysteme einen Einfluss auf das Ausmaß der Messinvarianz besitzt. Da die Modellannahmen der häufig eingesetzten konfirmatorischen Faktorenanalyse zunehmend als zu strikt für Messinvarianzprüfungen im interkulturellen Kontext kritisiert werden (Rutkowski & Svetina, 2014), wird mit Alignment (Asparouhov & Muthén, 2014) eine flexiblere und angemessenere Methode verwendet. Dennoch erreichen die drei Basisdimensionen nur metrische (identische Faktorenladungen) und nicht skalare Invarianz (identische Intercepts) zwischen den 15 Bildungssystemen. Folglich sind valide Vergleiche von Mittelwertsunterschieden in der Unterrichtsqualität zwischen den 15 Bildungssystemen nicht möglich. Innerhalb der fünf Cluster, bestehend aus jeweils drei Bildungssystemen mit ähnlicher oder identischer Sprache, wird im Gegensatz dazu skalare Invarianz bestätigt. Die Ergebnisse aus Beitrag I legen nahe, dass die untersuchten Fragebogenskalen zur Messung von Unterrichtsqualität unterschiedlich zwischen Bildungssystemen funktionieren. Eine höhere Vergleichbarkeit scheint jedoch mit einer kulturellen und sprachlichen Ähnlichkeit der Befragten einherzugehen. Wird diese Ähnlichkeit bei der Analyse berücksichtigt, sind valide Vergleiche von Mittelwertsunterschieden für eine Teilmenge an Bildungssystemen mit invarianter Messung möglich.
Beitrag II knüpft an Ergebnisse aus Beitrag I an und untersucht potenzielle Ursachen der fehlenden Invarianz. Der Fokus liegt auf kulturellen Variationen im Antwortprozess, die zu einer eingeschränkten Datenvergleichbarkeit führen können (z.B. Schwarz et al., 2010). Beitrag II konzentriert sich auf die erste und zweite Stufe des Antwortprozesses, der Item-Interpretation und der Assoziation des Item-Inhaltes mit persönlichen Erfahrungen (Tourangeau, 1984). Mit Hilfe von kognitiven Interviews wird untersucht, wie Schülerinnen und Schüler aus China (Shanghai) und Deutschland PISA Items zur Messung konstruktiver Unterstützung interpretieren und welche Unterrichtserfahrungen sie mit den Items assoziieren. Die Ergebnisse der strukturierenden qualitativen Inhaltanalyse nach Kuckartz (2018) zeigen zwar, dass sowohl chinesische als auch deutsche Schülerinnen und Schüler die Items mehrheitlich mit Unterrichtsmethoden assoziieren, die zur Kompetenzunterstützung beitragen (beispielsweise Methoden zur Beseitigung von Verständnisproblemen). Es zeigen sich jedoch auch deutliche interpretative Variationen, sowohl für statistisch nicht messinvariante (nicht vergleichbare) Items als auch für messinvariante (vergleichbare) Items. Diese können zum einen auf Eigenschaften der Messung zurückgeführt werden. Hierzu zählt eine unterschiedliche Übersetzung des Terms Lernen (in Deutschland Lernfortschritt in China Lernstand). Zudem finden sich Hinweise, dass komplexe und uneindeutige Itemformulierungen mehr Spielraum für kulturspezifische Interpretationen zulassen. Die zweite Ursache der interpretativen Variationen ist ein unterschiedliches Verständnis von konstruktiver Unterstützung, das durch kulturelle Unterschiede in der Unterrichtsgestaltung und -zielsetzung erklärt werden kann (Leung, 2001). Neben der Kompetenzunterstützung assoziieren die deutschen Schülerinnen und Schüler die Items mehrheitlich mit Methoden zur Unterstützung ihrer Autonomie und ihres sozial-emotionalen Erlebens im Unterricht, wohingegen die chinesischen Schülerinnen und Schüler die Items mehrheitlich mit Methoden zur Unterstützung ihrer akademischen Produktivität (z.B. ihrer Aufmerksamkeit) assoziieren. Die Ergebnisse aus Beitrag II legen nahe, dass die Interpretation von Fragebogenitems variieren kann, je nach dem in welchem kulturellen Kontext die Frage gestellt wird. Sie betonen zudem, dass quantitative und qualitative Methoden miteinander kombiniert werden sollten, um verlässliche Information über die interkulturelle Vergleichbarkeit von Fragebogenitems zu erhalten ...
Membrane proteins are biological macromolecules that are located in a cell’s membrane and are responsible for essential functions within an organism, which makes them to prominent drug targets. The extraction of membrane proteins from the hydrophobic membrane bilayer to determine high-resolution crystal structures is a difficult task and only 2% of all solved proteins structures are membrane proteins. Computational methods may help to gain deeper insights into membrane protein structures and their functions. This study will give an overview of such computational methods on a representative set of membrane proteins and will provide ideas for future computational and experimental research on membrane proteins.
In a first step (chapter 2), I updated an earlier, manually-curated data set of homologous membrane proteins (HOMEP) to more recent versions in 2010 (HOMEP2) and 2013 (HOMEP3) using an automated clustering approach. High-resolution structures of membrane proteins listed in the PDB_TM database were structurally aligned and subsequently clustered using structural similarity scores. Both data sets were used as a standard gold reference set for subsequent work.
Subsequently, I have updated and applied the sequence alignment program AlignMe to determine protein descriptors that are suitable for detecting evolutionary relationship between homologous a-helical membrane proteins. Single input descriptors were tested alone and in combination with each other in different modes of AlignMe by optimizing gap penalties on the HOMEP2 data set. Most accurate alignments and homology models on the HOMEP2 data set were observed when using position-specific substitution information (P), secondary structure propensities (S) and transmembrane propensities (T) in the AlignMe PST mode. An evaluation on an independent reference set of membrane protein sequence alignments from the BAliBASE collection showed that different modes of AlignMe are suitable for different sequence similarity levels. The AlignMe PST mode improved the alignment accuracy significantly for distantly related proteins, whereas for closely-related proteins from the BAliBASE set the AlignMe PS mode was more suitable. This work was published in March 2013 in PLOS ONE. In order to allow also an easier usage of the AlignMe program, I have implemented a web server of AlignMe (chapter 4) that provides the optimized settings and gap penalties for the AlignMe P, PS and PST modes. A comparison to other recent alignment web server shows that the alignments of AlignMe are similar or even more accurate than those of other methods, especially for very distantly related proteins for which the inclusion of membrane protein information has been shown to be suitable. This work was published in the NAR web server issue in July 2014.
Although membrane-specific information has been shown to be suitable for aligning distantly related membrane proteins on a sequence level, such information was not incorporated into structural alignment programs making it unclear which method is the most suitable for aligning membrane proteins. Thus, I compared 13 widely-used pairwise structural alignment methods on an updated reference set of homologous membrane protein structures (HOMEP3) and evaluated their accuracy by building models based on the underlying sequence alignments and used scoring functions (e.g., AL4 or CAD-score) to rate the model accuracy (chapter 5). The analysis showed that fragment-based approaches such as FR-TM-align are the most useful for aligning structures of membrane proteins that have undergone large conformational changes whereas rigid approaches were more suitable for proteins that were solved in the same or a similar state. However, no method showed a significant higher accuracy than any other. Additionally, all methods lack a measure to rate the reliability of the accuracy for a specific position within a structure alignment. In order to solve these problems, I propose a consensus-type approach that combines alignments from four different methods, namely FR-TM-align, DaliLite, MATT and FATCAT and assigns a confidence value to each position of the alignment that describes the agreement between the methods. This work has been published 2015 in the journal “PROTEINS: structure, function and bioinformatics”.
Consensus alignments were then generated for each pair of proteins of the HOMEP3 data set and subsequently analyzed for single evolutionary events within membrane spanning segments and for irregular structures (e.g., 310- and p-helices) (chapter 6). Interestingly, single insertions and deletions could be observed with the help of consensus alignments in the conserved membrane-spanning segments of membrane proteins in four protein families. The detection of such single InDels might help to identify crucial residues for a proteins function.