Open Access

Aron Fink

• Im Rahmen der fortschreitenden Digitalisierung der Hochschullehre finden auch verstärkt elektronische Prüfungsformate Eingang in den Alltag von Hochschulen. Insbesondere elektronische Abschlussklausuren (E-Klausuren) bieten hier die Möglichkeit, die Prüfungsbelastung Hochschulehrender durch die Automatisierung weiter Teile der Klausurkonstruktion, -administration und -auswertung zu reduzieren. Die Integration digitaler Technologien in die Prüfungspraxis deutscher Hochschulen ermöglicht dabei nicht nur eine ökonomische Klausurkonstruktion, realitätsnähere Klausuren (z. B. durch die Nutzung fachspezifischer Standardsoftware), und den Einsatz innovativer Testbausteine (z. B. Integration von Multimediadateien in Items), sondern auch die Nutzung aktueller psychometrischer Methoden. Insbesondere die Konstruktion von Hochschulklausuren als kriteriumsorientierte, adaptive Tests (z. B. Spoden & Frey, 2021), hat das Potential Hochschulklausuren individualisierter, messpräzisier und fairer zu machen, sowie die Validität der aus der Klausurbearbeitung abgeleiteten Testwertinterpretationen zu steigern. Um kriteriumsorientierte, adaptive Hochschulklausuren in der Breite nutzbar zu machen, müssen allerdings zuvor einige Herausforderungen gemeistert werden, denen sich diese Arbeit widmet. Die in den vier Einzelarbeiten dieser Dissertation betrachteten Herausforderungen lassen sich auf einer psychometrischen, einer personalen und einer technischen Ebene verorten. Auf der psychometrischen Ebene ist eine zentrale Herausforderung die ökonomische Kalibrierung des Itempools. Üblicherweise wird bei der Konstruktion adaptiver Tests eine dreistellige Anzahl an Items konstruiert und mittels einer separaten Kalibrierungsstudie im Vorlauf der operationalen Testanwendung mit mehreren hundert Testpersonen kalibriert. Die massierte Konstruktion vieler Items und die Durchführung einer zusätzlichen empirischen Studie lässt sich im Rahmen von Hochschulklausuren nur schwer realisieren. Im ersten Einzelbeitrag wird daher eine neuartige kontinuierliche Kalibrierungsstrategie (KKS) vorgestellt und im Rahmen einer Monte-Carlo-Simulation hinsichtlich ihrer psychometrischen Eigenschaften geprüft. Zusammenfassend ermöglicht die KKS, adaptive Tests während wiederkehrender Testanwendungen bei konstanter Berichtsmetrik, Kontrolle von Itemparameter-Drift und fortlaufender Ergänzung des Itempools zu kalibrieren. Es zeigt sich, dass die KKS selbst für sehr kleine Stichproben eine geeignete Methode darstellt, den Itempool über mehrere Testanwendungen hinweg fortlaufend zu kalibrieren. Um die Berichtsmetrik dabei über die verschiedenen Testanwendungen hinweg konstant zu halten, und somit Vergleichbarkeit der Ergebnisse verschiedener Testzeitpunkte (z. B. Semester) zu gewährleisten, nutzt die KKS Equating-Methoden (z. B. Kolen & Brennan, 2014) zum Herstellen einer statistischen Verbindung zwischen Klausurdurchläufen. Die Qualität dieser statistischen Verbindung hängt dabei von verschiedenen Parametern ab. Im zweiten Einzelbeitrag werden daher verschiedene Konfigurationen der in die KKS implementierten Equating-Prozedur hinsichtlich ihres Einflusses auf die Qualität der Parameterschätzungen im Rahmen einer Monte-Carlo-Simulation untersucht und auf Basis der Ergebnisse praktische Empfehlungen abgleitet. Hierfür werden unter anderem die Schwierigkeitsverteilung der genutzten Linkitems sowie die verwendete Skalentransformationsmethode variiert. Es zeigt sich, dass die KKS unter verschiedenen Konfigurationen in der Lage ist, die Skala über mehrere Testzyklen hinweg konstant zu halten. Normal- beziehungsweise gleichverteile Schwierigkeitsverteilungen der Linkitems sowie die Stocking-Lord-Skalentransformationsmethode (Stocking & Lord, 1983) erweisen sich hierbei am vorteilhaftesten. Auf personaler Ebene stellt die Akzeptanz seitens der Hochschullehrenden einen kritischen Erfolgsfaktor für die Implementation neuer E-Learning Systeme in Lehrveranstaltungen dar. Angelehnt an Technologieakzeptanzmodellen (z. B. Technology Acceptance Model; Davis, 1989) wird im dritten Einzelbeitrag ein empirisch prüfbares Modell – das Technology-based Exams Acceptance Model (TEAM) – zur Vorhersage der Intention zur Nutzung von adaptiven und nicht-adaptiven E-Klausursystemen seitens Hochschullehrender vorgeschlagen und anhand der Daten von N = 993 deutschen Hochschullehrenden empirisch geprüft. Das postulierte Modell weist einen guten Modellfit auf. Die Ergebnisse weisen die wahrgenommene Nützlichkeit als Schlüsselprädiktor für die Nutzungsintention aus. Medienbezogene Variablen haben indirekte Effekte auf die wahrgenommene Nützlichkeit, mediiert über vorherige Nutzungserfahrungen mit Bildungstechnologien. Darüber hinaus spielt die subjektive Norm eine wichtige Rolle bei der Erklärung der Akzeptanz von E-Klausuren...
• In the context of the ongoing digitization of higher education, digital assessments are increasingly becoming part of teaching practices at universities. In particular, electronic high-stakes examinations (e-exams) offer the possibility to considerably reduce the examination load of university teachers, especially due to the time-saving effect of the automated coding of student responses. The integration of digital technologies into the examination practice of universities enables not only resource-oriented test development, more realistic exams (e.g., through the use of subject-specific standard software), and the use of innovative test modules (e.g., integration of multimedia files into items), but also the use of state-of-the-art psychometrical methods. Especially, the construction of university exams as criterion-referenced adaptive tests (e.g., Spoden & Frey, 2021) has the potential to make university exams more individualized, more precise, and fairer, as well as to increase the validity of the test score interpretations derived from student performance. In order to make use of criterion-referenced adaptive exams, however, some challenges first have to be overcome. The challenges considered in the four articles of this dissertation can be divided into a psychometric, personal, and technical level. At the psychometric level, a key challenge is connected to the calibration of the item pool. Usually, for adaptive tests, several hundreds of items are constructed and are calibrated by means of a separate calibration study with several hundred test persons prior to the operational test phase. In the context of university exams, it is difficult to conduct a separate large calibration study and to construct a very large number of items for the calibration study. Therefore, in the first article, a novel continuous calibration strategy (CCS) is presented and investigated by means of a Monte Carlo simulation. In short, the CCS enables a step-by-step calibration of the item pool across several test applications without a separate calibration study, while maintaining the scale, controlling for item parameter drift, and continuously replenishing the item pool. It is shown that even for very small samples, the CCS is a suitable method to calibrate the item pool continuously across several test applications. Across test applications, the tests become increasingly more precise, deficient items are identified, and the scale is maintained. In order to keep the scale constant across test applications and, thus, to ensure the comparability of results across different time points (e.g., semesters), the CCS uses equating methods (e.g., Kolen & Brennan, 2014) to establish a statistical link. The quality of this statistical link depends on various parameters. In the second article, different configurations of the equating procedure implemented in the CCS were investigated with regard to their influence on the quality of the parameter estimates in a Monte Carlo simulation. Based on the results, practical recommendations were derived. For this purpose, among others, the difficulty distribution of the link items and the scale transformation method used were varied. Normal or uniform distributed difficulty distributions of the link items as well as the Stocking-Lord scale transformation method (Stocking & Lord, 1983) proved to be the most advantageous. At the personal level, the acceptance by the teaching staff is a critical factor for the successful implementation of e-learning technologies in courses. In the third article, an empirically testable model—the Technology-Based Exams Acceptance Model (TEAM)—for predicting higher education teachers' intention to use adaptive and nonadaptive e-exams is proposed and tested empirically using data from N = 993 higher education teachers in Germany. It draws from existing technology acceptance models (e.g., Technology Acceptance Model; Davis, 1989). The model showed an acceptable fit. The results highlight the importance of perceived usefulness as the key predictor of the intention to use. Media-related variables had indirect effects on the perceived usefulness, which were mediated by prior experience with e-learning technologies for teaching purposes. Furthermore, the subjective norm played an important role in explaining e-exam acceptance. The model provides a solid theoretical basis that can be used for the successful implementation of adaptive and nonadaptive e exams in higher education. Finally, at the technical level, one of the biggest challenges for the implementation of criterion-referenced, adaptive university exams is the provision of a suitable e-exam software. The fourth article therefore presents the KAT-HS-App, an e-exam software developed in the context of this dissertation. The KAT-HS-App enables the construction, administration, and evaluation of criterion-referenced, adaptive university exams in a user-friendly manner...