Refine
Document Type
- Doctoral Thesis (9)
Has Fulltext
- yes (9)
Is part of the Bibliography
- no (9)
Keywords
- Sprachkompetenz (2)
- Alignment (1)
- Aufgabenanalyse (1)
- Beteiligungsverhalten (1)
- Bildungsforschung (1)
- Bilingualismus (1)
- Bilingualität (1)
- Cognitive Interviews (1)
- Cross-cultural Comparability (1)
- Differential Item Functioning (1)
Schülerinnen und Schüler mit Migrationshintergrund in Deutschland schneiden in nationalen und internationalen Schulleistungsstudien deutlich schlechter ab als Schülerinnen und Schüler ohne Migrationshintergrund. Auch hinsichtlich der Lesekompetenz im Deutschen sind die Ergebnisse eines großen Teils der Schülerinnen und Schüler mit Migrationshintergrund immer wieder bedenklich schlecht. Um die Frage, welche Förderung gegen Defizite in der Deutsch-Lesekompetenz bei dieser Schülergruppe eingesetzt werden sollte, hat sich in Deutschland eine wissenschaftliche Auseinandersetzung mit breiter öffentlicher Wirkung entwickelt. Die drei Beiträge der vorliegenden Dissertation liefern aus unterschiedlicher Perspektive einen Beitrag zur Erforschung der Lesekompetenz von Personen mit unterschiedlicher Sprachbiographie.
Beitrag I (Rauch & Hartig, 2010) zeigte, dass es möglich ist, mit den Mitteln der mehrdimensionalen Item Response Theorie den diagnostischen Nutzen eines Deutsch-Lesekompetenztests zu erhöhen. Für Schülerinnen und Schüler, die zu Hause nicht das Deutsche zur Kommunikation nutzen, zeigte sich, dass sie insbesondere bei Basisfähigkeiten, die zur Bewältigung höherer Lesekompetenzprozesse notwendig sind, gegenüber ihren deutschsprachigen Mitschülerinnen und Mitschülern benachteiligt sind. Beitrag II (Rauch, Jurecka & Hesse, 2010) belegte, dass Türkisch-Deutsch bilinguale Schülerinnen und Schüler über niedrigere Deutsch-Lesekompetenzen verfügen als ihre monolingual Deutsch aufgewachsenen Mitschülerinnen und Mitschüler. In der Englisch-Lesekompetenz wurde kein Gruppenunterschied nachgewiesen. Es fand sich darüber hinaus ein signifikant positiver Effekt der Türkisch-Lesekompetenz auf die Englisch-Lesekompetenz, aber nicht auf die Deutsch-Lesekompetenz. Beitrag III (Rauch, Jude & Naumann, in Druck) zeigte, dass Türkisch-Deutsch bilinguale Schülerinnen und Schüler, die in beiden Sprachen Texte selbständig lesen und verstehen können, besser im Englisch-Lesekompetenztest abschneiden als monolingual aufgewachsene Schülerinnen und Schüler. Türkisch-Deutsch bilinguale Schülerinnen und Schüler, die über niedrigere Lesekompetenzen im Türkischen und Deutschen verfügen, schnitten im Englisch-Lesekompetenztest schlechter ab als beide anderen Vergleichsgruppen. Zudem zeigte Beitrag III, dass Sprachbewusstheit den Zusammenhang zwischen Biliteralität und drittsprachlicher Lesekompetenz teilweise mediiert.
Aus den Ergebnissen kann gefolgert werden, dass es für die Förderung der Deutsch-Lesekompetenz von Schülerinnen und Schülern, die zu Hause nicht das Deutsche zur Kommunikation nutzen, sinnvoll ist, insbesondere auf die Förderung der Bildung von adäquaten Makrostrukturen und die Vermittlung von Lesestrategien abzuheben. Die unterschiedlichen Befunde zur Interdependenz von Kompetenzen im Türkischen einerseits und im Deutschen und Englischen andererseits wurden auf die Art des schulischen Unterrichts in Deutsch und Englisch zurückgeführt. Während Schülerinnen und Schüler mit Herkunftssprache Türkisch im Englischunterricht, der das Englische im formalen Sprachunterricht vermittelt, in der Lage sind, Bezüge zu ihrer Herkunftssprache herzustellen, ist dies im Deutschunterricht, der das Deutsche selbst weitgehend voraussetzt, nicht möglich. Ein Teil des wiederholt in der Literatur berichteten Befundes, dass bilinguale Schülerinnen und Schüler, die in ihren beiden Sprachen lesen können, in drittsprachlichen Lesekompetenztests besser abschneiden als monolinguale Schülerinnen und Schüler, scheint auf erhöhte Sprachbewusstheit zurückzuführen zu sein. Dieses besondere Potential bilingualer Schülerinnen und Schüler könnte durch Herkunftssprachlichen Leseunterricht und einen auf Sprachbewusstheit ausgerichteten Unterricht weiter ausgeschöpft werden.
Der Fokus der Dissertation liegt auf der Betrachtung von Items zur Messung von fremdsprachlichem Leseverständnis in verschiedenen europäischen Ländern. Insbesondere wird der Einfluss unterschiedlicher Testkulturen auf die internationale Vergleichbarkeit und Validität dieser Items analysiert. Haupthypothese der Arbeit ist, dass sich Differentielle Item Funktionen (DIF, z.B. Holland & Wainer, 1993), eine durch Gruppenzugehörigkeit verursachte Varianz der Itemschwierigkeit, durch unterschiedliche Profile von Stärken und Schwächen von Gruppen im Hinblick auf sprachliche Teilaspekte vorhersagen lassen sollten. Dem liegt die Annahme zugrunde, dass in unterschiedlichen Bildungskulturen unterschiedliche Schwerpunkte bezüglich der unterrichteten sprachlichen Teilaspekte existieren. Ferner wird angenommen, dass sich dies auf den in einem Land konstruierten Testitems abbilden sollte, indem bestimmte schwierigkeitsbestimmende Charakteristika eines Items (z.B. Schwierigkeit von Vokabular/ Grammatik) mehr oder weniger häufig bei der Itemkonstruktion verwendet wurden. Signifikante Unterschiede dahingehend bei in unterschiedlichen Ländern konstruierten Items sollte demzufolge auf unterschiedliche testkulturelle Profile von Ländern hinweisen. Die Hauptfragestellung der Arbeit lautet: „Existiert ein Zusammenhang zwischen Differentiellen Item Funktionen und Indikatoren nationaler Testkulturen bei Aufgaben zur Messung des fremdsprachlichen Leseverständnissen in englischer und deutscher Sprache?“ Die Analysen wurden am Datensatz der europäischen EBAFLS-Studie (European Bank of Anchor Items for Foreign Language Skills; Fandel et al., 2007) durchgeführt. Im Rahmen der Studie wurden Daten an ca. 10.500 Schülern der 9.-11. Klasse in acht europäischen Ländern in den Sprachen Englisch, Deutsch und Französisch erhoben; die verwendeten Testitems stammten aus den verschiedenen Teilnehmerländern. Experten ordneten die Items hinsichtlich der verschiedenen Itemcharakteristika mit Hilfe des Kategorisierungsinstruments „Dutch Grid“ (Alderson et al., 2006) ein. Für diese Dissertation wurden die EBAFLS Items und Datensätze zur Messung des fremdsprachlichen Leseverständnissen für Englisch (Länder: Frankreich, Deutschland, Spanien, Ungarn) und Deutsch (Länder: Frankreich, Niederlande, Ungarn, Schweden) verwendet. In einem ersten Auswertungsschritt wurden zunächst für die Analysen notwendige Voraussetzungen überprüft: die Rasch-Skalierbarkeit der Items innerhalb der Länder, die Anzahl signifikanter DIF-Parameter zwischen den einzelnen Länderpaarungen, sowie das Vorhandensein unterschiedlicher testkultureller Profile der Teilnehmerländer im Sinne unterschiedlich häufig vorkommender Itemcharakteristika bei den in den unterschiedlichen Ländern konstruierten Items. Es zeigte sich, dass diese Voraussetzungen als gegeben angesehen werden konnten. Des Weiteren wurden anhand der unterschiedlichen testkulturellen Profile Hypothesen hinsichtlich der zu erwartenden Stärken und Schwächen der einzelnen Länder im Hinblick auf Items mit bestimmten kognitiv-linguistischen Charakteristika formuliert. Im zweiten Analyseschritt zeigten sich innerhalb aller Länder korrelative Zusammenhänge zwischen den ausgewählten Itemcharakteristika und der Itemschwierigkeit. Somit konnten die Itemcharakteristika auch für weitere Analysen, d.h. zur Erklärung von Unterschieden der Itemschwierigkeiten zwischen den Ländern, verwendet werden. Im dritten Auswertungsschritt wurden zunächst paarweise DIF-Parameter (zw. jeweils 2 Ländern) berechnet. Zur Analyse von Zusammenhängen zwischen DIF und den Itemcharakteristika wurden dann die Itemcharakteristika mit den DIF-Parametern korreliert sowie im Rahmen einer multiplen Regression als Prädiktoren für DIF eingesetzt. Die Korrelationen lagen zwischen r = -.47 und r = .47. Dabei bedeutet eine negativer Zusammenhang, dass dieses Item aus Sicht der Fokusgruppe eine im Vergleich zur Referenzgruppe niedrigere Itemschwierigkeit aufweist, und somit ein Zusammenhang zwischen einem Itemmerkmal und für diese Gruppe vorteilhaften DIF besteht, bzw. umgekehrt. In einem letzten Schritt wurde überprüft, inwieweit die Richtung der gefundenen Zusammenhänge mit den testkulturellen Profilen einhergeht. Kommt ein Itemmerkmal bei den Items der Fokusgruppe signifikant häufiger vor als beiden Items der Referenzgruppe, sollte dies mit einem negativen, d.h. vorteilhaften, Zusammenhang zwischen diesem Itemmerkmal und DIF einhergehen und umgekehrt. Es zeigte sich, dass 23 von 29 (Englisch) bzw. 25 von 34 (Deutsch) signifikanten Korrelationen ihrer Richtung nach den aufgrund der Testkultur aufgestellten Hypothesen entsprachen. Ferner konnte zwischen 21% und 49% der DIF-Varianz anhand von Prädiktoren erklärt werden, die ihrer Richtung nach den aufgrund der testkulturellen Profile gemachten Annahmen entsprachen. Die Hauptannahme, dass ein Zusammenhang zwischen Differentiellen Item Funktionen und Testkulturen existiert, konnte somit insgesamt beibehalten werden.
Die wissenschaftliche Vernetzung, Betreuung und Unterstützung in der Promotionsphase steht im Zentrum dieser Forschungsarbeit, für die eine soziale Netzwerkanalyse (SNA) zur Karriereentwicklung in einem Bildungsforschungsprogramm in Deutschland durchgeführt wurde. Als Ausgangsproblem wird die schwierige Situation der unsicheren beruflichen Perspektiven Promovierter aufgegriffen.
Die Arbeit beschäftigt sich mit der Frage, wie Promovierende sowohl eine hohe fachliche Qualifikation erreichen, die für eine wissenschaftliche Karriere erforderlich ist, als auch eine gute Vernetzung in der wissenschaftlichen Gemeinschaft aufbauen können, um sich Chancen für die nächsten Karriereschritte zu eröffnen. Aus der Perspektive der Promovierten werden Chancen und Risiken der Vernetzung behandelt, um Überlegungen zu förderlichen und hinderlichen Aspekten der Betreuung und Unterstützung anzustellen.
Die Ergebnisse dieser Forschungsarbeit zeigen auf, welche Bedeutung soziale Netzwerke in der Berufsbiografie haben können und wie wissenschaftliches und soziales Kapital für die Karriere genutzt werden kann. Dazu richtet sich die erziehungswissenschaftliche Perspektive auf Prozesse des Wissenserwerbs und gemeinschaftlicher Lernprozesse, die zur Qualifizierung dienen und unterschiedliche Modelle von Betreuung umfassen. Im Verlauf der Promotionsphase und der weiteren wissenschaftlichen Karriere beginnen die Promovierenden auf der Wissensgrundlage ihres Studiums als Neulinge ihre erste umfangreiche empirische Forschungsarbeit. Sie werden durch die Mitarbeit im Projekt und ihre Beteiligung an Aktivitäten an die Arbeitsweisen in der Wissenschaft herangeführt. Von einer solchen eher randständigen Position aus erwerben sie Wissen, lernen hinzu, tauschen sich mit fortgeschrittenen WissenschaftlerInnen aus und sammeln eigene Erfahrungen. Nach einiger Zeit weiterer Qualifizierung und größerer Sichtbarkeit in der wissenschaftlichen Gemeinschaft können sie Positionen näher am Zentrum ihres Forschungsgebiets einnehmen, die auf ihren Kenntnissen und ihrer zunehmenden fachlichen und methodischen Expertise beruhen.
Neue Erkenntnisse über Betreuungsmodelle sind hilfreich, denn die Betreuung orientiert sich mal stark an dem klassischen Lehrer-Schüler-Modell (Individualbetreuung) oder an einer gemeinsamen Betreuung in einer Forschungsgruppe (Gruppenbetreuung). Die Untersuchung der Bedeutung von sozialem Kapital und situiertem Lernen in der Qualifikationsphase dient dazu, die Vernetzung von Promovierten in ihrer späteren akademischen Karriere zu analysieren.
Die vorliegende Studie versucht einen Beitrag zur Erforschung von Implementationsmöglichkeiten des bilingualen Sprachvermögens von Schüler*innen mit Migrationshintergrund für den Regelschulkontext zu leisten, indem ein bilinguales Interaktionsangebot beim Peer-Learning für türkisch-deutschsprachig aufwachsende Schüler*innen der dritten und vierten Klasse in einem quasi-experimentellen Setting unter Verwendung von Mixed Methods untersucht wird.
Ziel dieser Studie ist eine videobasierte Analyse von Aufgaben im Unterricht zur Erklärung von Variationen des Beteiligungsverhaltens der Schüler/innen im Unterrichtsprozess. In der empirischen Unterrichtsforschung kommt dem Beteiligungsverhalten der Schüler/innen im Unterricht die Rolle einer Schlüsselvariable für die Wirksamkeit von Unterrichtsprozessen zu. Obwohl in theoretischen Modellen effektiven Unterrichts sowie in einer Reihe empirischer Untersuchungen die Qualität des Aufgabenangebots im Unterrichtsprozess als ein wichtiger Einflussfaktor für das Beteiligungsverhalten genannt wird, liegen kaum prozess-sensible Analysen zum Zusammenhang zwischen diesen beiden Geschehenskomponenten des Unterrichts vor. Die vorliegende, primär explorativ ausgerichtete Arbeit nimmt diesen Zusammenhang mittels videobasierter, quantitativ orientierter Verfahren systematischer Beobachtung in den Blick. Dazu wurden in sechs Klassen der 6. Jahrgangsstufe unterschiedlicher Schulformen jeweils vier Unterrichtsstunden des Faches Englisch videographiert. Im Vorfeld wurde mit den Schüler(inne)n (n=145) ein schriftlicher Leistungstest im Unterrichtsfach inklusive Fragen zur Person (Geschlecht und familiärer Sprachhintergrund) durchgeführt, sodass eine Differenzierung der im Unterrichtsprozess untersuchten Effekte nach unterschiedlichen Untergruppen möglich ist. Das Schülerbeteiligungsverhalten, operationalisiert als time on task, wurde mit einem niedrig-inferenten Beobachtungssystem im Intervallkodierungsverfahren erhoben, welches ein zeitlich vollständiges, individualisiertes Verlaufsprofil des Unterrichtsverhaltens aller Schüler/innen in der Klasse erlaubt. Die mittels Ereigniskodierverfahren erfassten Aufgaben wurden mit einem mehrdimensionalen, auf bestehenden Analyseinstrumentarien basierenden Kategoriensystem beschrieben.
In den Ergebnissen zeigt das Geschlecht als einzige Hintergrundvariable der Schüler/innen einen Einfluss auf die individuelle durchschnittliche Verhaltenstendenz im Unterricht. Bezogen auf die Hauptfrage der Studie lassen sich mit Blick in den Unterrichtsverlauf, das heißt auf Ebene der Einzelaufgabe, kaum belastbare Effekte von Variationen der erfassten Aufgabenmerkmale auf das Beteiligungsverhalten der Schüler/innen identifizieren. Bei Betrachtung des Aufgabenangebots auf Stundenebene sind hingegen eine Reihe schwacher bis mittlerer Zusammenhängen zwischen der stundenspezifischen Variabilität der Aufgabenmerkmale und dem durchschnittlichen on task-Niveau in der Klasse feststellbar, wobei sich die meisten dieser Effekte bei Berücksichtung von Untergruppen in der Klasse ausdifferenzieren. Insgesamt ergibt sich aus den vorliegenden Ergebnissen kein eindeutiges Bild zum Zusammenhang zwischen Eigenschaften des Aufgabenangebots im Unterricht und dem Beteiligungsverhalten der Schüler/innen. Die Befunde deuten vielmehr auf die Notwendigkeit zur Fokussierung einzelner Teilaspekte unter Schärfung der Analyseinstrumentarien sowie in Teilen der fokussierten Konstrukte hin. Die vorgelegten Ergebnisse bieten dafür zahlreiche Anschlussstellen und zeigen gleichzeitig Perspektiven zur Weiterentwicklung untersuchungs- bzw. auswertungsmethodischer Vorgehensweisen auf.
One of the most important shifts in mathematics learning and instruction in the last decades has taken place in the conception of the subject matter, changing from a perspective of mathematics as composed of concepts and skills to be learned, to a new one emphasizing the mathematical modelling of the reality (De Corte, 2004). This shift has had, as it is to be expected, an impact on classroom processes, and changed instructional settings and practices.
Instructional explanations, the object of study in the present work, are an interesting topic in that landscape, since they continue to be a typical form of classroom discourse, especially −but no exclusively−when new contents are introduced to the students (e.g. Leinhardt, 2001; Perry, 2000; Wittwer & Renkl, 2008). Consequently, good teachers are also supposed to be good explainers, independently whether they are the main speaker, or play the role of moderator in exchange between students (e.g. Charalambous, Hill, & Ball, 2011; Danielson, 1996; Inoue, 2009).
Despite the central role that instructional explanations play in classroom practices, current instructional quality models, which describe how effective teaching practices should look like, do not consider instructional explanations as a key element (Danielson, 1996; Klieme, Lipowsky, Rakoczy, & Ratzka, 2006; Pianta & Hamre, 2009). Moreover, aside from a few notable exceptions (Duffy, Roehler, Meloth, & Vavrus, 1986; Leinhardt & Steele, 2005; Perry, 2000), instructional explanations have not been investigated empirically within other traditions either. Thus, there is scarce of empirical work about instructional explanations and their potential contribution to promote students’ learning.
The purpose of the present work is to examine instructional explanations from a theoretical perspective as well as empirically, in order to characterize them and investigate their association with students’ learning outcomes. The underlying theoretical framework chosen to organize the study is the one proposed by Leinhardt (2001) with some adaptations according to pertinent complementary literature (Drollinger-Vetter & Lipowsky, 2006; Leinhardt & Steele, 2005).
The empirical work of this dissertation was carried out in the context of the project “Analysis of mathematic lessons” (FONIDE 209) funded by the Chilean Ministry of Education during 2007. This study, in turn, was embedded in the international extension of the research project the ‘‘Quality of instruction, learning, and mathematical understanding’’ carried out between 2000 and 2006 by the German Institute for International Educational Research (DIPF) in Frankfurt, Germany, and the University of Zurich in Switzerland (e.g. Klieme & Reusser, 2003; Klieme et al., 2006). According to the design of the original project, the study considers the inclusion of different perspectives, namely, teachers, students and external observers, by means of questionnaires, tests and classroom observation protocols.
The examination of instructional explanations in this dissertation begins in chapter 2 with the review of relevant literature and introduction of the theoretical background underpinning the study of instructional explanations. This theoretical review comprises three subsections, the first one describing the evolution of the process-product-paradigm into the actual instructional quality models that are presented in a next step. The second subsection includes a detailed theoretical presentation of explanations and instructional explanations, addressing the main theoretical issues and giving examples of the few empirical works about instructional explanations found in the literature. Finally, the third subsection with the description of Chilean teaching practices in order to contextualize the study.
Chapter 3 presents the research questions and lists the associated work hypotheses that are investigated throughout this work. Chapter 4 includes the methodological aspects of the work, indicating the description of the sample, design of the study, the methods used the gather the data and the analyses chosen to answer the proposed research questions.
Chapter 5 contains the presentation of results, which are organized by research question, starting with the results from quantitative analyses and continuing with the results from qualitative analyses. This chapter closes with a general summary of the results organized according to the central themes of the study. Finally, chapter 6 concludes with a discussion of the link between the results and the instructional explanations literature and research, or lack thereof, that originally motivated the research questions addressed in this study. This chapter finishes with a discussion of the limitations of the study and the implications of its results, as well as an examination of areas where the research on instructional explanations can be fruitfully expanded in the future.
Measuring teaching cross-culturally - the issue of measurement invariance and sources of bias
(2021)
Im Kontext der Globalisierung nimmt das Interesse daran, Unterricht vergleichend zwischen Bildungssystemen der ganzen Welt zu untersuchen, kontinuierlich zu (Paine et al., 2016). Unterricht ist einer der stärksten Prädiktoren für Lernergebnisse von Schülerinnen und Schülern (Hattie, 2009). Folglich bieten internationale Vergleiche die einmalige Möglichkeit von besonders erfolgreichen Bildungssystemen zu lernen und geben Auskunft über die Generalisierbarkeit beziehungsweise über die kulturellen Variationen von Unterricht und dessen Wirksamkeit. Gleichzeitig sind sie richtungsweisend für bildungspolitische Entscheidungen (Klieme, 2020). Zur Erfassung von Unterrichtsmerkmalen aus der Perspektive der beteiligten Lehrkräfte und Schülerinnen und Schüler werden häufig Fragebögen in internationalen Schulleistungsstudien eingesetzt. Erste empirische Befunde weisen jedoch daraufhin, dass die Fragebogenskalen oftmals nicht messinvariant sind (z.B. Desa, 2014; He & Kubacka, 2015; Nilsen & Gustafsson, 2016). Das bedeutet, dass Unterschiede in den Messwerten zwischen Bildungssystemen nicht automatisch genuine Unterschiede im gemessenen Konstrukt, wie beispielsweise Unterschiede in der Klassenführung, reflektieren. Stattdessen entstehen diese teilweise durch nicht intendierte kulturelle Variationen im Antwortprozess (Bias), beispielsweise durch kulturelle Unterschiede in der Bedeutung der Items zur Messung von Klassenführung oder durch kulturspezifische Antworttendenzen (van de Vijver & Leung, 1997). Eine fehlende Messinvarianz hat folgenreiche Konsequenzen, da valide (Mittelwerts-)Vergleiche von Unterrichtsmerkmalen zwischen Bildungssystemen nicht möglich sind und somit die umfangreichen Datensätze internationaler Studien nicht ausgeschöpft werden können (Davidov et al., 2018a). Dennoch mangelt es in der international vergleichenden Bildungsforschung bisher an empirischen Studien, die mit fortgeschrittenen Analysemethoden die Messinvarianz von Unterrichtsmerkmalen prüfen, sowie an empirisch-fundierten Erkenntnissen zu den Ursachen der oftmals fehlenden Invarianz. Mit einer Kombination aus quantitativen und qualitativen Methoden widmet sich die vorliegende Dissertation in drei Beiträgen der Aufarbeitung dieser Forschungslücke. Sie konzentriert sich auf Fragebogenskalen zur Messung von zwei generischen Unterrichtsmerkmalen aus der Perspektive von Schülerinnen und Schülern, der Unterrichtsqualität mit den Dimensionen Klassenführung, konstruktive Unterstützung und kognitive Aktivierung und den Unterrichtsmethoden mit den Dimensionen lehrerzentrierte und schülerzentrierte Methoden und Methoden des Assessments.
Beitrag I prüft die Messinvarianz von PISA Skalen zur Erfassung der drei Basisdimensionen der Unterrichtsqualität zwischen 15 Bildungssystemen. Zusätzlich wird untersucht, ob die kulturelle Ähnlichkeit (operationalisiert als ähnliche oder identische Sprache) der Bildungssysteme einen Einfluss auf das Ausmaß der Messinvarianz besitzt. Da die Modellannahmen der häufig eingesetzten konfirmatorischen Faktorenanalyse zunehmend als zu strikt für Messinvarianzprüfungen im interkulturellen Kontext kritisiert werden (Rutkowski & Svetina, 2014), wird mit Alignment (Asparouhov & Muthén, 2014) eine flexiblere und angemessenere Methode verwendet. Dennoch erreichen die drei Basisdimensionen nur metrische (identische Faktorenladungen) und nicht skalare Invarianz (identische Intercepts) zwischen den 15 Bildungssystemen. Folglich sind valide Vergleiche von Mittelwertsunterschieden in der Unterrichtsqualität zwischen den 15 Bildungssystemen nicht möglich. Innerhalb der fünf Cluster, bestehend aus jeweils drei Bildungssystemen mit ähnlicher oder identischer Sprache, wird im Gegensatz dazu skalare Invarianz bestätigt. Die Ergebnisse aus Beitrag I legen nahe, dass die untersuchten Fragebogenskalen zur Messung von Unterrichtsqualität unterschiedlich zwischen Bildungssystemen funktionieren. Eine höhere Vergleichbarkeit scheint jedoch mit einer kulturellen und sprachlichen Ähnlichkeit der Befragten einherzugehen. Wird diese Ähnlichkeit bei der Analyse berücksichtigt, sind valide Vergleiche von Mittelwertsunterschieden für eine Teilmenge an Bildungssystemen mit invarianter Messung möglich.
Beitrag II knüpft an Ergebnisse aus Beitrag I an und untersucht potenzielle Ursachen der fehlenden Invarianz. Der Fokus liegt auf kulturellen Variationen im Antwortprozess, die zu einer eingeschränkten Datenvergleichbarkeit führen können (z.B. Schwarz et al., 2010). Beitrag II konzentriert sich auf die erste und zweite Stufe des Antwortprozesses, der Item-Interpretation und der Assoziation des Item-Inhaltes mit persönlichen Erfahrungen (Tourangeau, 1984). Mit Hilfe von kognitiven Interviews wird untersucht, wie Schülerinnen und Schüler aus China (Shanghai) und Deutschland PISA Items zur Messung konstruktiver Unterstützung interpretieren und welche Unterrichtserfahrungen sie mit den Items assoziieren. Die Ergebnisse der strukturierenden qualitativen Inhaltanalyse nach Kuckartz (2018) zeigen zwar, dass sowohl chinesische als auch deutsche Schülerinnen und Schüler die Items mehrheitlich mit Unterrichtsmethoden assoziieren, die zur Kompetenzunterstützung beitragen (beispielsweise Methoden zur Beseitigung von Verständnisproblemen). Es zeigen sich jedoch auch deutliche interpretative Variationen, sowohl für statistisch nicht messinvariante (nicht vergleichbare) Items als auch für messinvariante (vergleichbare) Items. Diese können zum einen auf Eigenschaften der Messung zurückgeführt werden. Hierzu zählt eine unterschiedliche Übersetzung des Terms Lernen (in Deutschland Lernfortschritt in China Lernstand). Zudem finden sich Hinweise, dass komplexe und uneindeutige Itemformulierungen mehr Spielraum für kulturspezifische Interpretationen zulassen. Die zweite Ursache der interpretativen Variationen ist ein unterschiedliches Verständnis von konstruktiver Unterstützung, das durch kulturelle Unterschiede in der Unterrichtsgestaltung und -zielsetzung erklärt werden kann (Leung, 2001). Neben der Kompetenzunterstützung assoziieren die deutschen Schülerinnen und Schüler die Items mehrheitlich mit Methoden zur Unterstützung ihrer Autonomie und ihres sozial-emotionalen Erlebens im Unterricht, wohingegen die chinesischen Schülerinnen und Schüler die Items mehrheitlich mit Methoden zur Unterstützung ihrer akademischen Produktivität (z.B. ihrer Aufmerksamkeit) assoziieren. Die Ergebnisse aus Beitrag II legen nahe, dass die Interpretation von Fragebogenitems variieren kann, je nach dem in welchem kulturellen Kontext die Frage gestellt wird. Sie betonen zudem, dass quantitative und qualitative Methoden miteinander kombiniert werden sollten, um verlässliche Information über die interkulturelle Vergleichbarkeit von Fragebogenitems zu erhalten ...
Es geht um eine spezielle Auseinandersetzung mit dem Sachunterricht der hessischen Grundschule. Ziel eines Projektes („IGEL“ - Individuelle Förderung und adaptive Lern-Gelegenheiten in der Grundschule) des Frankfurter IDeA-Zentrums war es, das pädagogische Handeln von Lehrkräften zu verändern. Wir folgen diesem Versuch anhand dreier Lehrerinnen, die von Projektseite in der Methode der „Kognitiven Strukturierung“ fortgebildet wurden und die diese Methode im Rahmen einer standardisierten Unterrichtseinheit zum „Schwimmen und Sinken“ erproben sollen. Zu diesem Zweck führen wir Fallanalysen von Sachunterrichtsstunden vor und nach der Fortbildung derselben Lehrkräfte durch, sowie detaillierte didaktische Analysen des jeweils eingesetzten Materials. Wir kommen zu differenzierten kritischen Schlüssen. Das pädagogische und insbesondere das didaktische Handeln der Lehrerinnen wird in Folge der Fortbildungen stark perturbiert; zu der beabsichtigten und in Form von Handreichungen vorgegebenen „Kognitiven Strukturierung“ auf Schülerseite kommt es indes nicht. Stattdessen studieren wir intensiv die Überforderung der Lehrerinnen, die aus einer Kombination von a. den fachwissenschaftlichen Hintergründen, b. der freiwilligen Verpflichtung zur Manualumsetzung und c. den artikulierten Bedürfnissen der Schüler resultiert. Wir können anhand des Versuchs, die Lehrpersonen in „Kognitiver Strukturierung“ fortzubilden, einen Blick auf deren eigene kognitive und pädagogische Strukturen werfen; eine kontrollierte Eingriffnahme in diese Strukturen jedoch findet im Rahmen der „Implementationen“ nicht statt. Die Interventionsform der randomisierten Nachmittagsfortbildung wird zwar verworfen, lediglich angerissen aber die Frage, wie das erlangte Wissen zu nutzen wäre.
Die vorliegende Dissertation hat die Evaluation der Instruktionssensitivität von Testitems unter Berücksichtigung individueller Lernvoraussetzungen von Schülerinnen und Schülern zum Thema. Die Instruktionssensitivität von Items bzw. Testaufgaben erfasst, ob diese in der Lage sind, Effekte von Unterricht auf die Leistungen der Schülerinnen und Schüler abzubilden. Der Begriff der individuellen Lernvoraussetzungen wird im Rahmen dieser Arbeit sehr breit gefasst und subsumiert unter anderem kognitive, metakognitive, motivationale und volitionale Merkmale (Brühwiler, 2014; Brühwiler et al., 2017). Ausgehend von den Lernvoraussetzungen, welche im Zusammenhang von Angebots-Nutzungs-Modellen (u.a. Brühwiler, 2014; Fend, 1981) konzeptionell aufgegriffen werden, wird in den daran anschließenden quantitativen Analysen ein besonderer Fokus auf die Qualität der Lernmotivation (Ryan & Deci, 2000) gelegt. Das empirische Ziel der Arbeit besteht in der exemplarischen Überprüfung, inwiefern Indikatoren der Instruktionssensitivität von Testitems durch die Qualität der Lernmotivation der Schülerinnen und Schüler beeinflusst werden.
Vor dem Hintergrund dieses Erkenntnisinteresses werden Parameterschätzungen aus längsschnittlichen Mehrebenen-Item-Response-Modellen mit unterschiedlichen Modellspezifikationen gegenübergestellt. Analysiert werden Daten von 832 Fünftklässlerinnen und Fünftklässlern aus dem Schweizer Kanton St. Gallen, die wiederholt an Schulleistungstests im Fach Mathematik teilgenommen haben. Unterscheiden sich die Parameterschätzungen zwischen den Spezifikationen, spricht dies dafür, dass die Qualität der Lernmotivation einen Einfluss auf die Schätzung der Instruktionssensitivität der Mathematikitems nimmt. Als Indikatoren der Instruktionssensitivität werden die differenzielle (Naumann et al., 2016) und die spezifische Sensitivität herangezogen. Angenommen wird, dass die Einbeziehung der Qualität der Lernmotivation als Kovariate die Schätzung dieser beiden Indikatoren beeinflusst.
Das Ergebnis der Analysen ist eindeutig: Keine der aufgestellten Hypothesen kann angenommen werden. Die Resultate sprechen dafür, dass die Parameterschätzungen zur Evaluation der Instruktionssensitivität von der Qualität der Lernmotivation nicht wesentlich beeinflusst werden. Diese Befundlage überrascht, da zahlreiche Studien darauf hindeuten, dass motivationale Merkmale von Schülerinnen und Schülern einen Einfluss auf deren schulische Leistungen nehmen (u.a. Kriegbaum et al., 2015; Taylor et al., 2014) und für die Schätzung der Indikatoren der Instruktionssensitivität auf Daten von Schulleistungstests zurückgegriffen wurde. Die Ergebnisse werden aus inhaltlicher und methodischer Perspektive diskutiert.