Open Access

Die in den letzten Jahrzehnten erfolgten Entwicklungen im Bereich der Informations- und Kommunikationstechnologien (IKT) haben beinahe alle Teilbereiche der Gesellschaft erreicht (OECD, 2000) und so können Alltag, Beruf, aber auch soziale Interaktionen benannt werden (Autor, Levy, & Murnane, 2003). Das technologiebasierte Problemlösen stellt ein relevantes Kompetenzkonstrukt dar, wobei die empirische Validierung der Testwertinterpretation noch aussteht. „Technologiebasiertes Problemlösen ist die Kompetenz, digitale Technologien, Kommunikationshilfen und Netzwerke erfolgreich für die Suche, Vermittlung und Interpretation von Informationen zu nutzen.“(OECD, 2009; zitiert nach Rammstedt, 2013). Ziel einer Konstruktvalidierung ist es theoretische Annahmen – sowie nomologische Netze – mit empirischen Belegen zu prüfen und somit Aussagen über die Gültigkeit der Testwertinterpretationen treffen zu können (vgl. Messick, 1995). Zu diesem Zweck wurden die folgenden fünf Leithypothesen aufgestellt: 1. Im technologiebasierten Problemlösen können Teilsequenzen durch Routinen im Umgang mit IKT bewältigt werden. Mit dem Ziel der Analyse von Lösungsprozessen wurden Prozessdaten aus dem Feldtest der PIAAC-Studie genutzt und automatisierbare Teilschritte (beispielsweise Schließen eines Popups) analysiert. Eine schnelle Bearbeitung dieser Teilschritte wurde auch mit einer höheren Lösungswahrscheinlichkeit des Problems assoziiert. Die Testwerte des technologiebasierten Problemlösens spiegeln die bildungsbiographischen Lernerfolge wider, die zu einem routinierten Umgang mit IKT führen. 2. Durch die Entstehungsgeschichte von IKT begründet, bestehen Differenzen im technologiebasierten Problemlösen. Entstehung moderner IKT legt eine Differenzierung von drei Kohorten nahe (orientiert an lernintensiven Phasen der Kindheit und Jugend): - Erlebten die Entstehung und Verbreitung von Hardware (geboren 1946-1966) - Begleiteten die Verbreitung von Computersoftware und dessen Nutzung (geboren 1966-1981) - Nutzung und Gestaltung digitaler Inhalte des Internets (geboren 1981-1995) Erwartungsgemäß unterscheiden sich die Kohorten im technologiebasierten Problemlösen – genauer in der Nutzung von Routinen im Lösungsprozess und im erreichten Kompetenzniveau. Ältere Kohorten benötigten im Mittel mehr Zeit für Teilschritte, die durch Routinen bearbeitet werden können und sie erreichten im Mittel niedrigere Kompetenzniveaus. Obwohl Lesekompetenzen eine wesentliche Bedeutung im technologiebasierten Lösen von Problemen haben, können sie die Kohortenunterschiede nicht umfassend aufklären. Weil ältere Personenkohorten während ihrer formellen Ausbildungsphasen IKT – wie sie heute verwendet werden – nicht nutzen konnten, haben informelle Lerngelegenheiten eine wesentliche Bedeutung. So profitieren ältere Personen von einem regelmäßigen, beruflichen oder privaten Umgang mit diesen Technologien. Die Testwerte des technologiebasierten Problemlösens spiegeln entstehungsgeschichtlich begründete Kohortenunterschiede wider, welche durch lebenslange, formelle und informelle Lerngelegenheiten minimiert werden können. 3. Der Umgang mit IKT ist – begründet durch deren Entstehungsgeschichte – eher weniger Teil der formellen und schulischen Bildung. Technologiebasiertes Problemlösen wird weniger in formellen und schulischen Lerngelegenheiten erworben, als andere Kompetenzen wie beispielsweise mathematische und Lesekompetenzen. Folglich wurden für das technologiebasierte Problemlösen kleinere Differenzen zwischen hohen, mittleren oder niedrigen Bildungsabschlüssen erwartet und konnten empirisch anhand der PIAAC-Daten belegt werden. Vorteile von Personen mit einem hohen Bildungsabschluss konnten durch höhere Lesekompetenzen erklärt werden. Die Testwerte des technologiebasierten Problemlösens bilden entstehungsgeschichtlich begründete Unabhängigkeiten des Kompetenzkonstruktes ab, das zumeist nicht schulisch erworben wurde. 4. Technologiebasiertes Problemlösen ist ein eigenständiges Kompetenzkonstrukt, das Parallelen zu mathematischen und Lesekompetenzen aufweist. Mathematische und Lesekompetenzen stehen in einem Zusammenhang mit dem Umgang mit IKT und somit auch mit dem technologiebasierten Problemlösen. Die Leseanteile am technologiebasierten Problemlösen werden als größer eingeschätzt, als die der mathematischen Kompetenz und stärkere Effekte durch Lesekompetenz konnten empirisch nachgewiesen werden. Die Annahme der Eigenständigkeit des technologiebasierten Problemlösens wird im Weiteren dadurch gestützt, dass der alltägliche Umgang mit mathematischen und Leseinhalten weniger stark mit ihm assoziiert ist, als der Umgang mit IKT. Nomologische Netze zwischen technologiebasiertem Problemlösen und mathematischen sowie Lesekompetenzen konnten empirisch gestützt werden und die Annahme der Eigenständigkeit des Kompetenzkonstruktes bestärkt. 5. Die Nutzung von IKT – als Lerngelegenheit verstanden – und andere Lerngelegenheiten sowie Indikatoren erfolgreichen Lernens können zum technologiebasierten Problemlösen beitragen. Lebenslanges Lernen ist ein Teil der menschlichen Natur und in diesem Rahmen dienen verschiedenste formelle und informelle Lerngelegenheiten dem Erwerb von Wissen und Kompetenzen (Dohmen, 2001). So erreichen Personen im technologiebasierten Problemlösen ein höheres Kompetenzniveau, wenn sie regelmäßig privaten oder beruflichen Umgang mit IKT hatten. Neben diesen informellen Lerngelegenheiten steht auch die Teilnahme an Weiterbildungen in einem positiven Zusammenhang mit der technologiebasierten Bewältigung von Problemen. Des Weiteren hat eine positive Einstellung gegenüber dem Lernen neuer Inhalte einen Einfluss auf die technologiebasierte Problemlösekompetenz. Die Testwerte des technologiebasierten Problemlösens spiegeln die Lernerfolge durch das lebenslange Lernen wider, die durch verschiedene bildungsbiographische Merkmale – insbesondere formelle und informelle Lerngelegenheiten – befördert werden. Das technologiebasierte Problemlösen in der Operationalisierung der PIAAC-Studie lässt eine konstruktrepräsentative Testwertinterpretation zu und ermöglicht somit eine differenzierte Beschreibung von Kompetenzen im Umgang mit IKT.

Das Ziel der vorliegenden Arbeit ist die Identifikation von leistungsrelevanten kognitiven Prozessen beim komplexen Problemlösen (KPL). Außerdem soll untersucht werden, ob sich Leistungsunterschiede beim KPL zwischen soziodemografischen Gruppen durch Prozessmaße erklären lassen. Dazu wurden in den drei Einzelarbeiten, auf denen diese Arbeit basiert, verschiedene Prozesse und ihr Zusammenhang mit der Leistung beim KPL untersucht. Darüber hinaus schafft die vorliegende Arbeit einen theoretischen Rahmen, in den sich die drei Einzelarbeiten einordnen lassen. Die Fähigkeit komplexe Probleme lösen zu können, ist eine grundlegende Kompetenz in Bildung und Alltag und ermöglicht eine aktive Teilhabe an der Gesellschaft. KPL kann daher auch als Schlüsselkompetenz in der Wissensgesellschaft des 21. Jahrhunderts verstanden werden (Binkley et al., 2012; Trilling & Fadel, 2009). Komplexe Probleme begegnen jedem Menschen im beruflichen und privaten Umfeld sowie auf gesellschaftlicher Ebene. Daher ist es wichtig zu verstehen, welche Prozesse für effektives KPL relevant sind. Darüber hinaus wurden wiederholt Leistungsunterschiede beim KPL in Abhängigkeit vom Geschlecht und vom Migrationshintergrund der Personen festgestellt (OECD, 2014a; Sonnleitner, Brunner, Keller & Martin, 2014; Wüstenberg, Greiff, Molnár & Funke, 2014). In der ersten Arbeit wird der Zusammenhang verschiedener Aspekte von Planung mit der Leistung beim KPL untersucht. Die betrachteten Planungsaspekte sind die Dauer des längsten Planungsintervalls, der Zeitpunkt zu dem Planung erfolgt und die Variation der Dauer von Planungsintervallen im Problemlöseprozess. Zudem wird untersucht, ob die Effekte bei verschiedenen Aufgaben unterschiedlich ausgeprägt sind und ob es Interaktionseffekte der drei Planungsaspekte gibt. Die Ergebnisse zeigen, dass Planung grundsätzlich zu einem möglichst frühen Zeitpunkt stattfinden sollte. Die beiden anderen Planungsaspekte wiesen hingegen aufgabenabhängige Effekte auf. Außerdem gab es Interaktionseffekte. Insgesamt wurde bei leichten KPL-Aufgaben festgestellt, dass ähnlich wie beim analytischen Problemlösen Planung zu einem frühen Zeitpunkt einen positiven Einfluss auf die Leistung hat (Unterrainer & Owen, 2006). Auch der Einfluss der Variation der Planungsdauer hing mit der Aufgabenschwierigkeit zusammen, wobei bei leichten Aufgaben ein gleichmäßiges und bei schweren Aufgaben ein ungleichmäßigeres Vorgehen vorteilhaft war. Der Effekt der Planungsdauer war ebenfalls aufgabenabhängig, jedoch nur schwach mit der Aufgabenschwierigkeit korreliert. Somit scheinen andere Aufgabeneigenschaften für diesen Zusammenhang ursächlich zu sein. In der zweiten Arbeit werden Leistungsunterschiede beim KPL in Abhängigkeit vom Geschlecht und vom Migrationshintergrund der Schülerinnen und Schüler untersucht. Das Ziel dieser Arbeit ist es, Leistungsunterschiede zwischen diesen Gruppen durch Prozessmaße zu erklären. Da es Evidenz für einen Zusammenhang der Häufigkeit von Interaktion beziehungsweise Exploration mit der Leistung beim KPL gibt, werden diese als Prozessmaße verwendet (Bell & Kozlowski, 2008; Dormann & Frese, 1994; Naumann, Goldhammer, Rölke & Stelter, 2014). Erwartungskonform wurden Leistungsunterschiede beim KPL zugunsten von Jungen gegenüber Mädchen und zugunsten von Schülerinnen und Schülern ohne Migrationshintergrund gegenüber Schülerinnen und Schülern mit Migrationshintergrund festgestellt. Außerdem zeigte sich, dass beide Prozessmaße positiv mit der KPL-Leistung korrelierten. Der Leistungsunterschied zwischen Jungen und Mädchen konnte durch die Interaktionshäufigkeit teilweise und durch die Explorationshäufigkeit vollständig aufgeklärt werden. Der Leistungsunterschied in Abhängigkeit des Migrationshintergrundes konnte hingegen durch keines der beiden Maße erklärt werden. Die dritte Arbeit hat zum einen das Ziel, die Rolle von Explorationsverhalten beim KPL genauer zu klären. Zum anderen werden mit einem explorativen Ansatz komplexe Verhaltensmuster untersucht. Dazu wurde eine weitere Differenzierung von Exploration in lösungsrelevante und lösungsunabhängige Exploration vorgenommen. Es konnte gezeigt werden, dass im Gegensatz zu den Ergebnissen aus der zweiten Arbeit lösungsunabhängige Exploration vermehrt bei erfolgloser Aufgabenbearbeitung auftritt. Lediglich lösungsrelevante Exploration scheint also zu einer höheren KPL-Leistung beizutragen. Zudem wurden verschiedene Verhaltensmuster identifiziert, die auf konkrete Stärken und Schwächen im komplexen Problemlöseprozess von Schülerinnen und Schülern hinweisen. Die vorliegende Arbeit erweitert die theoretische Basis für KPL, indem sie kognitive Prozesse ordnet und im Sinne einer Intention interpretierbar macht. Weiterhin werden durch die empirischen Arbeiten Erkenntnisse über die Relevanz der untersuchten Prozesse für die Leistung beim KPL und für die Erklärung von Leistungsunterschieden gewonnen. Damit erleichtert diese Arbeit die Erklärung der Rolle kognitiver Prozesse beim KPL, um so das Verständnis dieses Konstruktes zu verbessern. Dies ist wiederum die Basis, um Schülerinnen und Schüler beim Erwerb der Kompetenz zum Lösen komplexer Probleme zu unterstützen und sie so auf die Herausforderungen des 21. Jahrhunderts vorzubereiten.

Die vorliegende Dissertation befasst sich mit dem Umstieg von papierbasiertem (PBA) auf computerbasiertes Assessment (CBA), insbesondere in Large-Scale-Studien. In der Bildungsforschung war Papier lange Zeit das Medium für Assessments, im Zuge des digitalen Zeitalters erhält der Computer aber auch hier Einzug. So sind die großen Bildungsvergleichsstudien, wie PISA (Programme for International Student Assessment) oder PIAAC (Programme for the International Assessment of Adult Competencies), und nationalen Studien über Bildungsverläufe und -entwicklungen im Rahmen des NEPS (Nationales Bildungspanel) bereits umgestiegen oder befinden sich im Prozesses des Umstiegs von PBA auf CBA. Findet innerhalb dieser Studien ein Moduswechsel statt, dann muss die Vergleichbarkeit zwischen den Ergebnissen der unterschiedlichen Administrationsmodi gewährleistet werden. Unterschiede in den Eigenschaften der Modi, wie beispielsweise im Antwortformat, können sich dabei auf die psychometrischen Eigenschaften der Tests auswirken und zu sogenannten Modus Effekten führen. Diese Effekte wiederum können sich in Unterschieden zwischen den Testscores widerspiegeln, sodass diese nicht mehr direkt miteinander vergleichbar sind. Die zentrale Frage dabei ist, ob es durch den Moduswechsel zu einer Veränderung des gemessenen Konstruktes kommt. Ist dies der Fall, so können Testergebnisse aus unterschiedlichen Administrationsmodi nicht miteinander verglichen und die Ergebnisse aus dem computerbasierten Test nicht analog zu den Ergebnissen aus dem papierbasierten Test interpretiert werden. Auch Veränderungen, die aus Messungen zu verschiedenen Zeitpunkten und mit unterschiedlichen Modi resultieren, lassen sich dann nicht mehr beschreiben. Es kann jedoch auch Modus Effekte geben, die zwar nicht das gemessene Konstrukt betreffen, aber sich beispielsweise in der Schwierigkeit der Items niederschlagen. Solange aber das erfasste Konstrukt bei einem Moduswechsel unverändert bleibt, können diese Modus Effekte bei der Berechnung der Testscores berücksichtigt und die Vergleichbarkeit gewährleistet werden. Somit ist, nicht nur im Hinblick auf gültige Trendschätzungen, der Analyse von Modus-Effekten ein hoher Stellenwert beizumessen. Da die bisherige Befundlage in der Literatur zu Modus-Effekten sowohl hinsichtlich der Stärke der gefundenen Effekte, als auch in Bezug auf die verwendeten Methoden sehr heterogen ist, ist das Ziel des ersten Beitrags dieser publikationsbasierten Dissertation, eine Anleitung für eine systematische Durchführung einer Äquivalenzuntersuchung, speziell für Large-Scale Assessments, zu geben. Dabei wird die exemplarisch dargelegte Modus-Effekt-Analyse anhand von zuvor definierten und in ihrer Bedeutsamkeit belegten Kriterien auf der Test- und Item-Ebene illustriert. Zudem wird die Möglichkeit beschrieben, auftretende Effekte anhand von Eigenschaften des Administrationsmodus’, beispielsweise des Antwortformats oder der Navigationsmöglichkeiten innerhalb des Tests, zu erklären. Im zweiten und dritten Beitrag findet sich jeweils eine empirische Anwendung der im ersten Beitrag beschriebenen schematischen Modus-Effekt-Analyse mit unterschiedlicher Schwerpunktsetzung. Dazu wurden die Daten eines Leseverständnistests aus der Nationalen Begleitforschung von PISA 2012 sowie zweier Leseverständnistests im NEPS, die jeweils sowohl papier- als auch computerbasiert administriert wurden, analysiert. Das Kriterium der Konstrukt-Äquivalenz steht dabei als wichtigstes Äquivalenz-Kriterium im Fokus. Zusätzlich wurde Äquivalenz in Bezug auf die Reliabilität und die Item-Parameter (Schwierigkeit und Diskrimination) untersucht. Im zweiten Beitrag wurden darüber hinaus interindividuelle Unterschiede im Modus-Effekt in Bezug zu basalen Computerfähigkeiten und zum Geschlecht gesetzt. Der dritte Beitrag fokussiert die Item-Eigenschaften, die als mögliche Quellen von Modus-Effekten herangezogen werden können und bezieht diese zur Erklärung von Modusunterschieden in die Analyse mit ein. In beiden Studien wurde keine Evidenz gefunden, dass sich das Konstrukt bei einem Wechsel des Administrationsmodus ändert. Lediglich einzelne Items wiesen am Computer im Vergleich zum PBA eine erhöhte Schwierigkeit auf, wobei sich der größte Teil der Items als invariant zwischen den Modi erwies. Für zwei Item-Eigenschaften wurde ein Effekt auf die erhöhte Schwierigkeit der Items am Computer gefunden. Interindividuelle Unterschiede im Modus-Effekt konnten nicht durch basale Computerfähigkeiten oder das Geschlecht erklärt werden. Diese Dissertation leistet einen wesentlichen Beitrag zur Systematisierung von Äquivalenzuntersuchungen, insbesondere solchen in Large-Scale Assessments, indem sie die wesentlichen Kriterien für die Beurteilung von Äquivalenz herausstellt und diskutiert sowie deren Analyse methodisch aufbereitet. Die Relevanz von Modus-Effekt Studien wird dabei nicht zuletzt durch die Ergebnisse der beiden empirischen Beiträge hervorgehoben. Schließlich wird der Bedeutung des Einbezugs von Item-Eigenschaften hinsichtlich der Beurteilung der Äquivalenz Ausdruck verliehen.