Refine
Year of publication
- 2017 (4) (remove)
Document Type
- Doctoral Thesis (4)
Has Fulltext
- yes (4)
Is part of the Bibliography
- no (4)
Keywords
- digital reading (1)
- hypertext (1)
- navigation behavior (1)
Institute
Das Ziel der vorliegenden publikationsbasierten Dissertation liegt darin, ein Erhebungskonzept zu entwickeln, das es erlaubt, ICT-Skills – das heißt Fertigkeiten für das Lösen von Aufgaben in einer Informations- und Kommunikationstechnologie-Umgebung – theoretisch fundiert zu erheben sowie die Validität der intendierten Testwerteinterpretation empirisch zu untersuchen. Die Testwerte sollen als ICT-spezifische Fertigkeiten höherer Ordnung interpretiert werden.
Für die Erfassung von ICT-Skills kann auf keine lange Forschungstradition zurückgegriffen werden. Daher ist es das Ziel der ersten Arbeit, eine Rahmenkonzeption zur Messung von ICT-Skills zu erstellen. Dabei werden drei Ziele verfolgt: Erstens soll für die Itementwicklung spezifiziert werden, auf welchen generischen und ICT spezifischen Fertigkeiten ICT-Skills basieren. Mithilfe etablierter psychologischer Theorien aus den relevanten Fertigkeitsbereichen werden kognitive Schwierigkeiten bei der Bewältigung von ICT-Aufgaben beschrieben, die als Grundlage für die Entwicklung der Items dienen. Zweitens werden für die Implementierung der Items Rationale für deren Erstellung in einer simulationsbasierten Umgebung formuliert, die es erlauben sollen, die intendierten kognitiven Prozesse realitätsnah in den Items abzubilden. Obgleich diese Arbeit einen konzeptionellen Fokus hat, besteht das dritte Ziel darin, die Rahmenkonzeption empirisch zu erproben, um zu beurteilen, ob die Rahmenkonzeption zur Itementwicklung und -implementierung geeignet war.
Aus der Rahmenkonzeption, die ein breites Spektrum relevanter ICT-Aufgaben für die Erfassung sowie eine simulationsbasierte Erhebung vorsieht, resultieren sehr heterogene Items. Deshalb unterscheiden sich ICT-Skills-Items von eher homogenen Itempools, wie sie typischerweise zur Erfassung von Konstrukten der psychologischen Leistungsdiagnostik, etwa zur Intelligenzdiagnostik, verwendet werden. Aus diesem Grund ist für die Konstruktvalidierung der Testwerteinterpretation, die das Ziel der zweiten und dritten Arbeit darstellt, zunächst konzeptionelle Forschungsarbeit nötig, um angemessene Validierungsstrategien für heterogene Items zu entwickeln. Diese in der zweiten und dritten Arbeit erforderlichen konzeptionellen Beiträge bedingen die Struktur dieses Rahmentextes, in dem zunächst die konzeptionellen Beiträge aller drei Arbeiten vorgestellt und anschließend alle empirischen Ergebnisse berichtet werden. Die konzeptionellen Entwicklungen für die Validierung der intendierten Interpretation der Testwerte orientieren sich an Vorgehensweisen der psychologischen Leistungsdiagnostik, der nomothetischen Spanne und der Konstruktrepräsentation (vgl. Embretson, 1983). Mit diesen wird untersucht, inwiefern sich die zentralen Annahmen der Rahmenkonzeption aus der ersten Arbeit, nämlich die bei der Aufgabenlösung involvierten Fertigkeiten und kognitiven Prozesse, in den Testwerten widerspiegeln.
Das Ziel der zweiten Arbeit besteht darin, die nomothetische Spanne von ICT-Skills zu untersuchen und den postulierten Zusammenhang mit generischen und ICT-spezifischen Fertigkeiten empirisch zu untersuchen. Neben dem klassischen Ansatz, der Zusammenhänge über alle Items hinweg betrachtet, wird das Zusammenspiel verschiedener Fertigkeiten auch auf Itemebene analysiert. Darüber hinaus sollen potentielle Variationen in den Zusammenhängen über die sehr heterogenen Items durch Merkmale erklärt werden, welche für diese Heterogenität bezeichnend sind. Die empirischen Ergebnisse dienen – basierend auf den in der Rahmenkonzeption definierten Fertigkeiten – als Evidenzen für die Validität der Testwerteinterpretation.
Das Ziel der dritten Arbeit ist es, die Konstruktrepräsentation zu untersuchen, indem Evidenzen für die intendierten kognitiven Prozesse in der Itembearbeitung gesammelt werden. Klassischerweise werden in homogenen Itempools Itemmerkmale zwischen Items verglichen und wenn möglich quantifiziert, um die Schwierigkeit in Items zu beschreiben. Da die Items sehr heterogen sind, wurden zwei experimentelle Ansätze entwickelt, die diese kognitiven Prozesse in Itemvarianten verändern oder eliminieren. Die Auswirkungen dieser Manipulationen werden in Bezug auf die Itemschwierigkeit und den Zusammenhang mit anderen Konstrukten untersucht. Verändert werden die in der Rahmenkonzeption abgeleiteten schwierigkeitsdeterminierenden Merkmale, um zu untermauern, dass die ICT Skills Items ICT-spezifische Fertigkeiten erfordern. Eliminiert werden alle Merkmale die Fertigkeiten höherer Ordnung erfordern sollten. Mit diesen experimentellen Strategien können die zentralen Punkte der intendierten Testwerteinterpretation untersucht werden.
Neben den empirischen Ergebnissen zur Untermauerung der intendierten Testwerteinterpretation für den entwickelten ICT-Skills-Test ist der Erkenntnisgewinn dieser Arbeit auch in den konzeptionellen Beiträgen zu sehen. Mit diesen wurde exemplarisch gezeigt, wie ein Konstrukt wie ICT-Skills erfasst werden kann, indem man sich an den Vorgehensweisen der psychologischen Leistungsdiagnostik orientiert und dabei auf Annahmen kognitiver Prozesse zurückgreift.
Der Aufbau des World Wide Web hat enorm dazu beigetragen, Wissen zu strukturieren, aufzubereiten und verfügbar zu machen. Die Art und Weise, wie Texte im Web miteinander in Verbindung stehen, kann jedoch das Lesen und Textverstehen stark beeinflussen. Die Dissertation „Demands and Cognitive Processes in Reading Digital Text“ untersucht daher individuelle kognitive Prozesse, die mit der Informationsverarbeitung beim Lesen digitaler Texte einhergehen. Hierzu wird im ersten Teil der Arbeit kurz in die Unterschiede zwischen linearen und nicht-linearen Text (sog. Hypertext) eingeführt. Hypertexte zeichnen sich dabei durch eine verzweigte Verbindungsstruktur zwischen einzelnen Textteilen (engl. nodes) aus. Diese Textteile sind untereinander durch Hyperlinks verbunden, über die sie angesteuert werden können. Das Auswahlprofil, in denen einzelne Textteile aufgerufen werden, wird hierbei als Navigationsverhalten bezeichnet. Entsprechend dieser Unterscheidung werden die Begriffe des linearen und digitalen Lesens eingeführt. Lesen ist nach konstruktivistischer Auffassung ein aktiver Prozess des Lesenden, in dem er ein propositionales Modell eines Textes mental erarbeitet und mit Wissen und Erfahrungen zu einem Situationsmodell anreichert. Digitales Lesen erfordert aber, dass Leserinnen und Leser neben dem eigentlichen Leseprozess zusätzliche kognitive Ressourcen aktivieren, um mit den besonderen Eigenschaften von Hypertext angemessen umzugehen.
Anhand eines Prozessmodells digitalen Lesens wurden zwei Forschungsfragen abgeleitet, die im zweiten Teil der Arbeit vorgestellt werden. Die erste Forschungsfrage konzentriert sich auf die Identifikation kognitiver Fähigkeiten, die das digitale Lesen konstituieren. Im Konkreten wurden Hypothesen über die Zusammenhänge digitalen Lesens mit (1) Lesefähigkeiten auf Wort-, Satz- und Textebene, (2) Arbeitsgedächtnisfähigkeiten, (3) Fähigkeiten, Online-Informationen hinsichtlich ihrer Passung für bestimmte Leseaufgaben zu bewerten, und (4) basalen Fähigkeiten im Umgang mit Computerumgebungen formuliert. Daran anknüpfend thematisiert die zweite Forschungsfrage, wie die angenommenen Beziehungen des digitalen Lesens mit seinen Konstituenten erklärt werden können. Hierzu wurde insbesondere die Informationsauswahl, die Lesende durch ihr Navigationsverhalten treffen, als zentrale vermittelnde Variable betrachtet.
Zur Beantwortung der beiden Forschungsfragen wurden drei Studien herangezogen, die im dritten Teil der Arbeit zusammengefasst dargestellt werden. In diesen Studien wurden kognitive Prozesse des digitalen Lesens mit Hilfe von Daten aus der Nationalen Begleitforschung zur Einführung computerbasierten Assessments (CBA) im Programme for International Student Assessment (PISA) 2012 untersucht. Die erste der drei Studien konzentriert sich auf die Rolle, die das Arbeitsgedächtnis beim Lesen digitaler Texte einnimmt. Die zweite Studie behandelt Einflüsse von ICT-bezogenen Fähigkeiten. Als ICT-bezogene Fähigkeitsvariablen wurden basale Computerfähigkeiten sowie Fähigkeiten zur kritischen Bewertung von Online-Informationen hinsichtlich ihrer Relevanz und Nützlichkeit betrachtet. Die Bewertung von Online-Informationen und ihre Auswahl von Ergebnisseiten aus Suchmaschinenabfragen (engl. search engine result pages) werden in der dritten Studie als Spezialfall digitalen Lesens herausgegriffen und gesondert betrachtet. Hierbei wurde untersucht, welche Rolle Lesefähigkeiten auf der Wort-, Satz- und Textebene bei der Bewertung von Online-Informationen einnehmen.
Im abschließenden vierten Teil der Arbeit werden grundlegende kognitive Prozesse der Informationsverarbeitung digitalen Textes diskutiert. Zusammengefasst zeigten die drei Studien, dass fähige Leser zielorientierter aufgabenrelevante Texte identifizieren und verarbeiten können. Schülerinnen und Schüler profitierten dabei von effizienten Arbeitsgedächtnisfunktionen – unabhängig davon, ob sie gute Leser waren oder nicht. Defizite des Arbeitsgedächtnisses wurden durch einen strategischen Umgang mit der Hypertextumgebung kompensiert. Das Textverstehen wurde zudem indirekt durch routinierte Fertigkeiten im Umgang mit Computern und direkt durch Fähigkeiten zur Bewertung von Online-Informationen unterstützt. Es wurde geschlussfolgert, dass kompetente Leser in der Lage sind, ihre kognitiven Ressourcen effizient zu verteilen. Als Resultat der gemeinsamen Betrachtung der drei Studien erscheint digitales Lesen als komplexes Fähigkeitsgemisch. Dieses beruht auf allgemeinen Lesefähigkeiten, auf einer effizienten Allokation kognitiver Ressourcen, auf der strategiegetriebenen Vorhersage von Informationen und auf rudimentären Fertigkeiten im Umgang mit Computerumgebungen. Dabei beschreibt digitales Lesen kein neues, aber ein zeitgenössisches Konstrukt, das sich als Reaktion auf aktuelle individuelle und gesellschaftliche Informationsbedürfnisse entwickelt hat und sich entsprechend der fortschreitenden technischen Weiterentwicklung verändern wird.
Das World Wide Web (Web) als die wohl wichtigste Entwicklung von Informations- und Kommunikationstechnologien (engl. information and communication technologies, ICTs) Ende des 20. Jahrhunderts bietet uns Zugang zu einer unbegrenzten Fülle an Informationen. Doch um es als reichhaltige Informationsquelle effektiv nutzen zu können, benötigen wir spezifische ICT-Fähigkeiten. Die Dissertation Development of Interactive Performance Measures for two Components of ICT Literacy: Successfully Accessing and Evaluating Information befasst sich daher mit der Untersuchung zweier grundlegender ICT Fähigkeiten für die erfolgreiche Nutzung des Web als Informationsquelle: der Fähigkeit, auf die gewünschten Information zugreifen zu können, also basale Computerfähigkeiten (engl. basic computer skills, BCS), sowie der Fähigkeit, die Online-Informationen in Bezug auf ihre Glaubwürdigkeit bewerten zu können. Hierzu werden zunächst anhand der Betrachtung des theoretischen Hintergrundes beider ICT-Fähigkeiten Definitionen der Konstrukte vorgestellt. Ziel der Arbeit stellt die Entwicklung zweier Testverfahren zur interaktiven, computer-basierten Erfassung basaler Computerfähigkeiten sowie der Fähigkeit zur Bewertung der Glaubwürdigkeit von Online-Informationen dar. Die den Testverfahren zugrundeliegende faktorielle Struktur sowie die Beziehung beider ICT-Fähigkeiten zu verwandten Konstrukten werden untersucht. Des Weiteren werden Ergebnisse aus der praktischen Anwendung des neu entwickelten Tests zur Evaluation von Online-Informationen (TEO) genutzt, um zu einem tieferen Verständnis über den Suchprozess im Web (engl. web search proccess) zu gelangen und Faktoren zu identifizieren, die diesen beeinflussen. Dabei wird sowohl der Einfluss sogenannter Aufgabencharakteristika (engl. task characteristics) untersucht, die den Kontext des Suchprozesses bestimmen, als auch der Einfluss individueller Prozesscharakteristika (engl. individual process characteristics), welche durch die jeweilige Person bestimmt sind, die die Informationssuche vornimmt.
Um den Forschungszielen der Arbeit gerecht zu werden, wurden drei Studien durchgeführt. Die erste Studie befasst sich mit der Entwicklung der Skala zur Erfassung basaler Computerfähigkeiten (BCS). Im Konkreten wurden Hypothesen über die Zusammenhänge der BCS-Skala mit praktischem Computerwissen, Worterkennung, einer Selbsteinschätzung der eigenen Computerfähigkeiten sowie elektronischer Lesefähigkeit formuliert und analysiert. Die zweite Studie behandelt die Entwicklung des Tests zur Evaluation von Online-Informationen (TEO) und exploriert sowohl die latente Struktur des Konstruktes der Bewertung der Glaubwürdigkeit von Online-Informationen als auch den Zusammenhang mit basalen Computerfähigkeiten, Worterkennung und logischem Denken. In der dritten Studie wird der Suchprozess im Web näher beleuchtet und mögliche Einflussgrößen einer erfolgreichen Bewertung von Online-Informationen erforscht, wobei der Einfluss von Aufgabencharakteristika, individuellen Prozesscharakteristika und deren Interaktion ergründet wird. Im Speziellen wurde der Einfluss dreier Aufgabencharakteristika geprüft, die sich auf die Komplexität einer Aufgabe beziehen: die Anzahl der Suchergebnisse (Links auf der Ergebnisseite einer Suchmaschinenabfrage), die Attraktivität der weniger glaubwürdigen Links auf der Ergebnisseite einer Suchmaschinenabfrage im Vergleich zum glaubwürdigsten Link sowie die Kongruenz zwischen den Glaubwürdigkeitsmerkmalen in den Links auf der Ergebnisseite der Suchmaschinenabfrage und auf den dazugehörigen Webseiten. Dabei war die Attraktivität eines Links definiert als die Gesamtanzahl der Glaubwürdigkeitsmerkmale, welche auf eine hohe Glaubwürdigkeit der Informationen hinweisen. Je mehr Merkmale eines Links hohe Glaubwürdigkeit indizieren, desto attraktiver ist ein Link. Von Kongruenz zwischen den Glaubwürdigkeitsmerkmalen wurde ausgegangen, wenn diese sowohl in einem Link auf der Ergebnisseite der Suchmaschinenabfrage als auch auf der korrespondierenden Webseite gleichermaßen hohe oder gleichermaßen geringe Glaubwürdigkeit anzeigen. Inkongruenz hingegen wurde angenommen, wenn die Glaubwürdigkeitsmerkmale in einem Link auf der Ergebnisseite hohe Glaubwürdigkeit und jene auf der korrespondierenden Webseite geringe Glaubwürdigkeit anzeigen und vice versa. Weiterhin wurde der Einfluss dreier individueller Prozesscharakteristika auf den Bewertungserfolg untersucht: die Anzahl besuchter unterschiedlicher Webseiten, die auf der Ergebnisseite der Suchmaschinenabfrage verbrachte Zeit sowie die auf den korrespondierenden Webseiten verbrachte Zeit.
Zusammengefasst präsentiert die Arbeit reliable Instrumente zur Erfassung basaler Computerfähigkeiten sowie der Fähigkeit zur Bewertung der Glaubwürdigkeit von Online-Informationen. Sie zeigt die hohe Relevanz basaler Lesefähigkeiten (Worterkennung) für beide Konstrukte auf und offenbart die Fähigkeit zum logischen Denken als Prädiktor für die Bewertungskompetenz. Während eine erfolgreiche Bewertung von Online-Informationen durch eine hohe Anzahl von Suchergebnissen negativ beeinflusst wurde, wirkte sich Kongruenz der Glaubwürdigkeitsmerkmale sowie eine hohe Anzahl besuchter unterschiedlicher Webseiten positiv auf den Bewertungserfolg aus. Die Attraktivität der weniger glaubwürdigen Links sowie die zeitbezogenen Prozesscharakteristika beeinflussten den Bewertungserfolg wider Erwarten nicht. Die Anzahl besuchter unterschiedlicher Webseiten erwies sich bei einer hohen Anzahl von Suchergebnissen als weniger prädiktiv für den Bewertungserfolg als bei einer geringen Anzahl von Suchergebnissen.
Die vorliegende Dissertation befasst sich mit dem Umstieg von papierbasiertem (PBA) auf computerbasiertes Assessment (CBA), insbesondere in Large-Scale-Studien. In der Bildungsforschung war Papier lange Zeit das Medium für Assessments, im Zuge des digitalen Zeitalters erhält der Computer aber auch hier Einzug. So sind die großen Bildungsvergleichsstudien, wie PISA (Programme for International Student Assessment) oder PIAAC (Programme for the International Assessment of Adult Competencies), und nationalen Studien über Bildungsverläufe und -entwicklungen im Rahmen des NEPS (Nationales Bildungspanel) bereits umgestiegen oder befinden sich im Prozesses des Umstiegs von PBA auf CBA. Findet innerhalb dieser Studien ein Moduswechsel statt, dann muss die Vergleichbarkeit zwischen den Ergebnissen der unterschiedlichen Administrationsmodi gewährleistet werden. Unterschiede in den Eigenschaften der Modi, wie beispielsweise im Antwortformat, können sich dabei auf die psychometrischen Eigenschaften der Tests auswirken und zu sogenannten Modus Effekten führen. Diese Effekte wiederum können sich in Unterschieden zwischen den Testscores widerspiegeln, sodass diese nicht mehr direkt miteinander vergleichbar sind. Die zentrale Frage dabei ist, ob es durch den Moduswechsel zu einer Veränderung des gemessenen Konstruktes kommt. Ist dies der Fall, so können Testergebnisse aus unterschiedlichen Administrationsmodi nicht miteinander verglichen und die Ergebnisse aus dem computerbasierten Test nicht analog zu den Ergebnissen aus dem papierbasierten Test interpretiert werden. Auch Veränderungen, die aus Messungen zu verschiedenen Zeitpunkten und mit unterschiedlichen Modi resultieren, lassen sich dann nicht mehr beschreiben. Es kann jedoch auch Modus Effekte geben, die zwar nicht das gemessene Konstrukt betreffen, aber sich beispielsweise in der Schwierigkeit der Items niederschlagen. Solange aber das erfasste Konstrukt bei einem Moduswechsel unverändert bleibt, können diese Modus Effekte bei der Berechnung der Testscores berücksichtigt und die Vergleichbarkeit gewährleistet werden. Somit ist, nicht nur im Hinblick auf gültige Trendschätzungen, der Analyse von Modus-Effekten ein hoher Stellenwert beizumessen. Da die bisherige Befundlage in der Literatur zu Modus-Effekten sowohl hinsichtlich der Stärke der gefundenen Effekte, als auch in Bezug auf die verwendeten Methoden sehr heterogen ist, ist das Ziel des ersten Beitrags dieser publikationsbasierten Dissertation, eine Anleitung für eine systematische Durchführung einer Äquivalenzuntersuchung, speziell für Large-Scale Assessments, zu geben. Dabei wird die exemplarisch dargelegte Modus-Effekt-Analyse anhand von zuvor definierten und in ihrer Bedeutsamkeit belegten Kriterien auf der Test- und Item-Ebene illustriert. Zudem wird die Möglichkeit beschrieben, auftretende Effekte anhand von Eigenschaften des Administrationsmodus’, beispielsweise des Antwortformats oder der Navigationsmöglichkeiten innerhalb des Tests, zu erklären. Im zweiten und dritten Beitrag findet sich jeweils eine empirische Anwendung der im ersten Beitrag beschriebenen schematischen Modus-Effekt-Analyse mit unterschiedlicher Schwerpunktsetzung. Dazu wurden die Daten eines Leseverständnistests aus der Nationalen Begleitforschung von PISA 2012 sowie zweier Leseverständnistests im NEPS, die jeweils sowohl papier- als auch computerbasiert administriert wurden, analysiert. Das Kriterium der Konstrukt-Äquivalenz steht dabei als wichtigstes Äquivalenz-Kriterium im Fokus. Zusätzlich wurde Äquivalenz in Bezug auf die Reliabilität und die Item-Parameter (Schwierigkeit und Diskrimination) untersucht. Im zweiten Beitrag wurden darüber hinaus interindividuelle Unterschiede im Modus-Effekt in Bezug zu basalen Computerfähigkeiten und zum Geschlecht gesetzt. Der dritte Beitrag fokussiert die Item-Eigenschaften, die als mögliche Quellen von Modus-Effekten herangezogen werden können und bezieht diese zur Erklärung von Modusunterschieden in die Analyse mit ein. In beiden Studien wurde keine Evidenz gefunden, dass sich das Konstrukt bei einem Wechsel des Administrationsmodus ändert. Lediglich einzelne Items wiesen am Computer im Vergleich zum PBA eine erhöhte Schwierigkeit auf, wobei sich der größte Teil der Items als invariant zwischen den Modi erwies. Für zwei Item-Eigenschaften wurde ein Effekt auf die erhöhte Schwierigkeit der Items am Computer gefunden. Interindividuelle Unterschiede im Modus-Effekt konnten nicht durch basale Computerfähigkeiten oder das Geschlecht erklärt werden.
Diese Dissertation leistet einen wesentlichen Beitrag zur Systematisierung von Äquivalenzuntersuchungen, insbesondere solchen in Large-Scale Assessments, indem sie die wesentlichen Kriterien für die Beurteilung von Äquivalenz herausstellt und diskutiert sowie deren Analyse methodisch aufbereitet. Die Relevanz von Modus-Effekt Studien wird dabei nicht zuletzt durch die Ergebnisse der beiden empirischen Beiträge hervorgehoben. Schließlich wird der Bedeutung des Einbezugs von Item-Eigenschaften hinsichtlich der Beurteilung der Äquivalenz Ausdruck verliehen.