Open Access

Lena Engelhardt

• Das Ziel der vorliegenden publikationsbasierten Dissertation liegt darin, ein Erhebungskonzept zu entwickeln, das es erlaubt, ICT-Skills – das heißt Fertigkeiten für das Lösen von Aufgaben in einer Informations- und Kommunikationstechnologie-Umgebung – theoretisch fundiert zu erheben sowie die Validität der intendierten Testwerteinterpretation empirisch zu untersuchen. Die Testwerte sollen als ICT-spezifische Fertigkeiten höherer Ordnung interpretiert werden. Für die Erfassung von ICT-Skills kann auf keine lange Forschungstradition zurückgegriffen werden. Daher ist es das Ziel der ersten Arbeit, eine Rahmenkonzeption zur Messung von ICT-Skills zu erstellen. Dabei werden drei Ziele verfolgt: Erstens soll für die Itementwicklung spezifiziert werden, auf welchen generischen und ICT spezifischen Fertigkeiten ICT-Skills basieren. Mithilfe etablierter psychologischer Theorien aus den relevanten Fertigkeitsbereichen werden kognitive Schwierigkeiten bei der Bewältigung von ICT-Aufgaben beschrieben, die als Grundlage für die Entwicklung der Items dienen. Zweitens werden für die Implementierung der Items Rationale für deren Erstellung in einer simulationsbasierten Umgebung formuliert, die es erlauben sollen, die intendierten kognitiven Prozesse realitätsnah in den Items abzubilden. Obgleich diese Arbeit einen konzeptionellen Fokus hat, besteht das dritte Ziel darin, die Rahmenkonzeption empirisch zu erproben, um zu beurteilen, ob die Rahmenkonzeption zur Itementwicklung und -implementierung geeignet war. Aus der Rahmenkonzeption, die ein breites Spektrum relevanter ICT-Aufgaben für die Erfassung sowie eine simulationsbasierte Erhebung vorsieht, resultieren sehr heterogene Items. Deshalb unterscheiden sich ICT-Skills-Items von eher homogenen Itempools, wie sie typischerweise zur Erfassung von Konstrukten der psychologischen Leistungsdiagnostik, etwa zur Intelligenzdiagnostik, verwendet werden. Aus diesem Grund ist für die Konstruktvalidierung der Testwerteinterpretation, die das Ziel der zweiten und dritten Arbeit darstellt, zunächst konzeptionelle Forschungsarbeit nötig, um angemessene Validierungsstrategien für heterogene Items zu entwickeln. Diese in der zweiten und dritten Arbeit erforderlichen konzeptionellen Beiträge bedingen die Struktur dieses Rahmentextes, in dem zunächst die konzeptionellen Beiträge aller drei Arbeiten vorgestellt und anschließend alle empirischen Ergebnisse berichtet werden. Die konzeptionellen Entwicklungen für die Validierung der intendierten Interpretation der Testwerte orientieren sich an Vorgehensweisen der psychologischen Leistungsdiagnostik, der nomothetischen Spanne und der Konstruktrepräsentation (vgl. Embretson, 1983). Mit diesen wird untersucht, inwiefern sich die zentralen Annahmen der Rahmenkonzeption aus der ersten Arbeit, nämlich die bei der Aufgabenlösung involvierten Fertigkeiten und kognitiven Prozesse, in den Testwerten widerspiegeln. Das Ziel der zweiten Arbeit besteht darin, die nomothetische Spanne von ICT-Skills zu untersuchen und den postulierten Zusammenhang mit generischen und ICT-spezifischen Fertigkeiten empirisch zu untersuchen. Neben dem klassischen Ansatz, der Zusammenhänge über alle Items hinweg betrachtet, wird das Zusammenspiel verschiedener Fertigkeiten auch auf Itemebene analysiert. Darüber hinaus sollen potentielle Variationen in den Zusammenhängen über die sehr heterogenen Items durch Merkmale erklärt werden, welche für diese Heterogenität bezeichnend sind. Die empirischen Ergebnisse dienen – basierend auf den in der Rahmenkonzeption definierten Fertigkeiten – als Evidenzen für die Validität der Testwerteinterpretation. Das Ziel der dritten Arbeit ist es, die Konstruktrepräsentation zu untersuchen, indem Evidenzen für die intendierten kognitiven Prozesse in der Itembearbeitung gesammelt werden. Klassischerweise werden in homogenen Itempools Itemmerkmale zwischen Items verglichen und wenn möglich quantifiziert, um die Schwierigkeit in Items zu beschreiben. Da die Items sehr heterogen sind, wurden zwei experimentelle Ansätze entwickelt, die diese kognitiven Prozesse in Itemvarianten verändern oder eliminieren. Die Auswirkungen dieser Manipulationen werden in Bezug auf die Itemschwierigkeit und den Zusammenhang mit anderen Konstrukten untersucht. Verändert werden die in der Rahmenkonzeption abgeleiteten schwierigkeitsdeterminierenden Merkmale, um zu untermauern, dass die ICT Skills Items ICT-spezifische Fertigkeiten erfordern. Eliminiert werden alle Merkmale die Fertigkeiten höherer Ordnung erfordern sollten. Mit diesen experimentellen Strategien können die zentralen Punkte der intendierten Testwerteinterpretation untersucht werden. Neben den empirischen Ergebnissen zur Untermauerung der intendierten Testwerteinterpretation für den entwickelten ICT-Skills-Test ist der Erkenntnisgewinn dieser Arbeit auch in den konzeptionellen Beiträgen zu sehen. Mit diesen wurde exemplarisch gezeigt, wie ein Konstrukt wie ICT-Skills erfasst werden kann, indem man sich an den Vorgehensweisen der psychologischen Leistungsdiagnostik orientiert und dabei auf Annahmen kognitiver Prozesse zurückgreift.