Open Access

Sonja Franziska Christina Wenzel

• Um den aktuellen Bildungsstand einer Gesellschaft abbilden zu können müssen Resultate von Bildungsprozessen, wie erworbenes Wissen oder ausgebildete Fähigkeiten, modelliert und gemessen werden (Leutner, Klieme, Fleischer & Kuper, 2013). Im Rahmen sogenannter Large-Scale-Assessments (LSAs) werden Kompetenzen in bestimmten Bereichen definiert und erfasst, die generell für die gesellschaftliche Teilhabe benötigen werden (bspw. Fraillon, Schulz & Ainley, 2013). Durch die fortschreitende Digitalisierung aller Lebens- und Arbeitsbereiche ist der kompetente Umgang mit Informations- und Kommunikationstechnologien (ICT) eine wichtige Voraussetzung für die erfolgreiche Teilhabe an unserer modernen Wissensgesellschaft. Die detaillierte Beschreibung solcher, auch als ICT-Skills bezeichneter Kompetenzen, und die Entwicklung von theoriebasierten Instrumenten zu deren Erfassung ist von großer Bedeutung, um mögliche sozial bedingte Disparitäten aufzudecken. Im Rahmen der vorliegenden Arbeit werden Annahmen, Ergebnisse und Daten aus dem Projekt CavE-ICT, in dem verhaltensnahe simulationsbasierte Items zur Erfassung von ICT-Skills entwickelt wurden, aufgegriffen und weitergenutzt mit dem Ziel eine besonders effiziente und ökonomisch Messung von ICT-Skills im LSA-Kontext und darüber hinaus zu ermöglichen. Ein vielversprechender Ansatz durch den Testzeiten verkürzt und/oder die Messpräzision erhöht werden kann ist das computerisierte adaptive Testen (CAT; bspw. Frey, 2012). Beim adaptiven Testen orientiert sich die Auswahl der Items am Antwortverhalten der untersuchten Person, so dass durch die Berücksichtigung der individuellen Fähigkeit einer Person Items mit möglichst viel diagnostischer Information administriert werden können. Damit auch bei der Vorgabe unterschiedlicher Items in unterschiedlicher Reihenfolge Testleistungen von Personen miteinander verglichen werden können, stellen Modelle der Item-Response-Theorie (IRT; bspw. Hambleton & Swaminathan, 2010) die Basis der Anwendung von CAT dar. Im Rahmen dieser Arbeit wurde untersucht, wie ICT-Skills auf Basis der Item-Response-Theorie und unter Einsatz computerisierter Messinstrumente erfasst werden können. Dabei setzten die empirischen Studien dieser Arbeit unterschiedliche Testformen um und an unterschiedlichen Punkten im Prozess der Testentwicklung an. Studie I setzt noch vor der Entwicklung von Items zur Messung von ICT-Skills an und zielt darauf ab Hinweise zum Umfang des zu erstellenden ICT-Itempools und zur Testlänge eines adaptiven Messinstruments bereitzustellen. Studie II baut direkt auf Studie I auf und nutzt die im Rahmen des Projekts CavE-ICT entwickelten und kalibrierten Items beziehungsweise ihre ermittelten Itemeigenschaften zur weiteren Erprobung verschiedener CAT-Algorithmen. Es werden Möglichkeiten aufgezeigt, wie multidimensionales adaptives Testen zur Messung von ICT-Skills gewinnbringend eingesetzt werden kann, und zudem eine differenzierte Messung auf Ebene der verschiedenen kognitiven Prozesse von ICT-Skills erlaubt. Dabei werden explizit Möglichkeiten exploriert Items die unterschiedliche kognitive Prozesse von ICT-Skills abbilden sequentiell geordnet und trotzdem adaptiv vorzulegen. Die durch Studie II erarbeiteten Erkenntnisse können insbesondere für die Erfassung von multidimensionalen Konstrukten oder facettierten Merkmalen in LSAs genutzt werden. Durch den Vergleich der Ergebnisse von Studie I und II ergeben sich zudem Implikationen für ein angemessenes Design von Simulationsstudien die insbesondere noch vor der eigentlichen Test- beziehungsweise Itementwicklung ansetzen. In Studie III werden lineare Kurztests zur Messung von ICT-Skills zusammengestellt. Durch die gezielte Auswahl geeigneter ICT-Items soll bei möglichst geringer Testzeit zugleich eine hohe Messgenauigkeit und Zuverlässigkeit realisiert werden. Die in Studie III manuell und automatisiert computerbasiert zusammengestellten Tests werden hinsichtlich des Einsatzes sowohl auf Populationsebene, im Sinne einschlägiger LSAs, als auch darüber hinaus für gruppen- und individualdiagnostische Zwecke evaluiert und Empfehlungen für den Kurztesteinsatz abgeleitet.