Open Access

Stephanie Leininger

• Die vorliegende Dissertation hat die Evaluation der Instruktionssensitivität von Testitems unter Berücksichtigung individueller Lernvoraussetzungen von Schülerinnen und Schülern zum Thema. Die Instruktionssensitivität von Items bzw. Testaufgaben erfasst, ob diese in der Lage sind, Effekte von Unterricht auf die Leistungen der Schülerinnen und Schüler abzubilden. Der Begriff der individuellen Lernvoraussetzungen wird im Rahmen dieser Arbeit sehr breit gefasst und subsumiert unter anderem kognitive, metakognitive, motivationale und volitionale Merkmale (Brühwiler, 2014; Brühwiler et al., 2017). Ausgehend von den Lernvoraussetzungen, welche im Zusammenhang von Angebots-Nutzungs-Modellen (u.a. Brühwiler, 2014; Fend, 1981) konzeptionell aufgegriffen werden, wird in den daran anschließenden quantitativen Analysen ein besonderer Fokus auf die Qualität der Lernmotivation (Ryan & Deci, 2000) gelegt. Das empirische Ziel der Arbeit besteht in der exemplarischen Überprüfung, inwiefern Indikatoren der Instruktionssensitivität von Testitems durch die Qualität der Lernmotivation der Schülerinnen und Schüler beeinflusst werden. Vor dem Hintergrund dieses Erkenntnisinteresses werden Parameterschätzungen aus längsschnittlichen Mehrebenen-Item-Response-Modellen mit unterschiedlichen Modellspezifikationen gegenübergestellt. Analysiert werden Daten von 832 Fünftklässlerinnen und Fünftklässlern aus dem Schweizer Kanton St. Gallen, die wiederholt an Schulleistungstests im Fach Mathematik teilgenommen haben. Unterscheiden sich die Parameterschätzungen zwischen den Spezifikationen, spricht dies dafür, dass die Qualität der Lernmotivation einen Einfluss auf die Schätzung der Instruktionssensitivität der Mathematikitems nimmt. Als Indikatoren der Instruktionssensitivität werden die differenzielle (Naumann et al., 2016) und die spezifische Sensitivität herangezogen. Angenommen wird, dass die Einbeziehung der Qualität der Lernmotivation als Kovariate die Schätzung dieser beiden Indikatoren beeinflusst. Das Ergebnis der Analysen ist eindeutig: Keine der aufgestellten Hypothesen kann angenommen werden. Die Resultate sprechen dafür, dass die Parameterschätzungen zur Evaluation der Instruktionssensitivität von der Qualität der Lernmotivation nicht wesentlich beeinflusst werden. Diese Befundlage überrascht, da zahlreiche Studien darauf hindeuten, dass motivationale Merkmale von Schülerinnen und Schülern einen Einfluss auf deren schulische Leistungen nehmen (u.a. Kriegbaum et al., 2015; Taylor et al., 2014) und für die Schätzung der Indikatoren der Instruktionssensitivität auf Daten von Schulleistungstests zurückgegriffen wurde. Die Ergebnisse werden aus inhaltlicher und methodischer Perspektive diskutiert.
• This dissertation focuses on the evaluation of instructional sensitivity of test items in consideration of students’ individual learning prerequisites. The instructional sensitivity of items or test tasks reflects whether they are capable of capturing the effects of teaching. The term individual learning prerequisites is broadly defined and subsumes among others cognitive, metacognitive, motivational, and volitional characteristics (Brühwiler, 2014; Brühwiler et al., 2017). Considering individual learning prerequisites which are addressed in the context of utilization of learning opportunities models (e.g. Brühwiler, 2014; Fend, 1981), a particular focus of the subsequent quantitative analyses is on the quality of students’ learning motivation (Ryan & Deci, 2000). The aim of these analyses is to examine, by way of example, the extent to which indicators of instructional sensitivity of test items are influenced by the quality of learning motivation. To this end, parameter estimates from longitudinal multilevel item response theory models with different model specifications are compared. Data from 832 fifth graders from the Swiss canton of St. Gallen who repeatedly participated in school achievement tests in mathematics are analysed. If the estimated parameters differ, this suggests that the quality of learning motivation influences the estimation of the instructional sensitivity. The indicators of instructional sensitivity used are differential (Naumann et al., 2016) and specific sensitivity. It is assumed that including the quality of learning motivation as a covariate has an impact on the estimate of these two indicators. The result of the analyses is clear: none of the hypotheses can be accepted. This finding indicates that the estimated parameters for evaluating instructional sensitivity are not significantly influenced by the quality of learning motivation. This is surprising given that numerous studies suggest that students’ motivational characteristics have an impact on their academic performance (e.g. Kriegbaum et al., 2015; Taylor et al., 2014) and that data from school achievement tests were used to estimate the indicators of instructional sensitivity. The results are discussed from both a substantive and a methodological perspective.