Open Access

Jutta Mayer

• Visual working memory (WM) and selective attention are fundamental cognitive mechanisms, both operating at the interface between perception and action. They are related because both are postulated to have limits with respect to how much information can be processed. Specifically, selective attention has been implicated as a limiting factor for the storage capacity of visual WM. However, visual WM and attention have been largely studied in isolation and interactions between the two have rarely been addressed. This dissertation aimed at investigating interactions between selective attention and the encoding of information into visual WM in the context of one common characteristic feature, namely their limitation in capacity. An experimental task was used that combined visual search with delayed discrimination and the demands on selective attention and WM encoding were manipulated orthogonally. In each trial participants were presented with a search array consisting of nine different grey geometric shapes. A small L-shaped item that appeared in one of four different orientations and that was coloured either blue or red was placed in the centre of each shape. Participants were instructed to search for predefined target items (Ls oriented 90°) and to memorise the shapes associated with these target items. After a delay phase a probe was presented and participants decided whether it did or did not match one of the memorised shapes. Attentional demand was manipulated by changing the search efficiency in the visual search component of the task (easy vs. difficult search) and WM load was manipulated by the number of targets (1 to 5). A behavioural study was conducted to isolate the processes that allowed participants to successfully encode complex shapes into WM while engaging spatial attention for a visual search task. The data provided evidence for a two-step encoding strategy. In the first step participants selected and memorised only the locations of all target items and only then they encoded the associated shapes at a later step. This strategy allowed them to cope with the interference between WM and attention that would otherwise take place. In the second part of this dissertation interference between visual attention and the encoding into visual WM was investigated on the level of neural activation using functional magnetic resonance imaging (fMRI). Specifically, the hypothesis was tested that the capacity limitation of visual WM is due to common limited-capacity neural resources shared by visual WM and attention. Two separate fMRI experiments were conducted that combined visual search and delayed visual discrimination for either objects (experiment 1) or locations (experiment 2). The results revealed overlapping activation for attention-demanding visual search and object WM encoding in distributed posterior and frontal regions. In the right prefrontal cortex and bilateral insula BOLD activation additively increased with increased WM load and attentional demand. Conversely, the analysis revealed an interaction effect in several visual, parietal, and premotor areas. These regions showed overlapping activation for the two task components and were severely reduced in their WM load response under the condition with high attentional demand. This interaction effect was found in similar frontal and posterior regions when combining visual search and spatial WM encoding in experiment 2. In contrast, regions in the prefrontal cortex were selectively responsive to WM load and differed to some degree depending on the WM domain. Here, activation associated with increased WM load was delayed rather than reduced under high attentional demand. The fMRI results provide convergent evidence that visual selective attention and the encoding of information into WM share, to a high degree, common neural resources. The findings indicate that competition for resources shared by visual attention and WM encoding can limit processing capabilities in distributed posterior brain regions but not the prefrontal cortex. The findings support the view that WM evolves from the recruitement of attentional mechanisms (Cowan, 2001; Wheeler und Treisman, 2002) the very same that act upon perceptual representations as well (Slotnick, 2004; Jonides et al., 2005; Pasternak and Greenlee, 2005; Postle, 2006; Ranganath, 2006). The similarity in the effects of interference between attention and the encoding of objects or locations into WM indicates that the attention-based model of WM encoding is valid across different WM domains. The capacity of visual WM can be limited at various stages of processing. The behavioural and fMRI data presented in this dissertation illustrate that one major bottleneck of information processing arises from the common demands on neural and cognitive resources shared between visual WM and selective attention during the encoding stage.
• Selektive visuelle Aufmerksamkeit und das visuelle Arbeitsgedächtnis (AG) stellen fundamentale kognitive Mechanismen an der Schnittstelle zwischen Wahrnehmen und Handeln dar. Ein gemeinsamer zentraler Aspekt ist ihre begrenzte Kapazität. Aufmerksamkeitsprozesse werden als ein limitierender Faktor der Kapazität des visuellen AGs diskutiert. AG- und Aufmerksamkeitsprozesse wurden jedoch bisher überwiegend in separaten Experimenten untersucht und die Beziehung zwischen diesen kognitiven Systemen ist unzureichend geklärt. Das Ziel der vorliegenden Arbeit war es, Interaktionen zwischen den Prozessen der selektiven Aufmerksamkeit und der Enkodierung in das visuelle AG im Kontext ihrer begrenzten Verarbeitungskapazität zu untersuchen. Es wurde eine Aufgabe entwickelt, in der die Anforderungen an beide Mechanismen unabhängig von einander manipuliert wurden. Den Probanden wurde ein visuelles Feld bestehend aus neun Figuren präsentiert. Jede Figur war in der Mitte mit einem farbigen, L-förmigen Winkel markiert. Die Probanden waren instruiert, nach zuvor definierten Zielwinkeln zu suchen und sich die so markierten Figuren zu merken. Nach einer Haltephase wurde den Probanden ein Testreiz dargeboten, der mit den zuvor gespeicherten Figuren abzugleichen war. Die Gedächtnislast wurde über die Anzahl der zu enkodierenden Figuren manipuliert (1 bis 5). Die Aufmerksamkeitsanforderung wurde über den Schwierigkeitsgrad der visuellen Suche bestimmt (einfach vs. schwierig). In einer Verhaltensstudie konnten die kognitiven Prozesse isoliert werden, die es den Probanden ermöglichten, komplexe Figuren trotz interferierender Aufmerksamkeitsanforderungen erfolgreich in das AG zu enkodieren. Die Ergebnisse wiesen auf eine zweistufige Enkodierungsstrategie hin, die das Detektieren und Memorieren der Positionen aller Zielwinkel vor der Enkodierung der relevanten Figuren umfasste. Die anschließende Untersuchung mittels funktioneller Magnetresonanztomographie (fMRT) diente dazu, Interaktionen zwischen diesen Prozessen auf neuronaler Ebene zu charakterisieren. Es wurde die Hypothese getestet, dass die Kapazitätslimitierung des visuellen AGs auf begrenzte neuronale Ressourcen zurückzuführen sei, die gemeinsam von AG- und Aufmerksamkeitsprozessen beansprucht werden. Dazu wurden zwei fMRT-Experimente durchgeführt, in denen die visuelle Suche mit der Enkodierung von Figuren (Experiment 1) bzw. Positionen (Experiment 2) kombiniert wurde. Die Ergebnisse zeigten für die schwierige visuelle Suche und die Enkodierung von Figuren stark überlappende Aktivierungsmuster in verteilten posterioren und frontalen Arealen. Im rechten präfrontalen Kortex und beidseitig in der Inselregion stieg das fMRT-Signal additiv mit zunehmender AG-Last und zunehmender Aufmerksamkeitsanforderung an. Im Gegensatz dazu war in mehreren visuellen, parietalen und prämotorischen Arealen der Effekt der AG-Manipulation in Kombination mit der schwierigen visuellen Suche geringer ausgeprägt als in Kombination mit der einfachen visuellen Suche. Dieser Interaktionseffekt konnte für die Kombination der visuellen Suche mit der Enkodierung von Positionen (Experiment 2) in ähnlichen posterioren Arealen lokalisiert werden. Regionen im Präfrontalkortex waren mit einem Aktivitätsanstieg assoziiert, der selektiv mit der zunehmenden AG-Last korreliert war und in der schwierigen Suchbedingung zeitlich verzögert auftrat. Im Präfrontalkortex konnten zudem materialspezifische Aktivitätsmuster aufgezeigt werden. Die Ergebnisse der fMRT-Experimente zeigten übereinstimmend, dass die Enkodierung von Information in das visuelle AG und visuelle selektive Aufmerksamkeit größtenteils auf gemeinsamen neuronalen Ressourcen beruhen. Der Wettbewerb um begrenzte Ressourcen, die von Enkodierungs- und Aufmerksamkeitsprozessen beansprucht werden, scheint die Verarbeitungskapazität in verteilten posterioren Arealen zu limitieren. Die Befunde stehen im Einklang mit kognitiven Modellen, die Aufmerksamkeitsprozessen eine funktionale Bedeutung für das kurzfristige Halten von Informationen zuschreiben (Cowan, 2001; Wheeler und Treisman, 2002) und unterstützen die Annahme, dass dem AG die gleichen kognitiven und neuronalen Ressourcen zugrunde liegen, die auch für die perzeptuelle Verarbeitung herangezogen werden (Slotnick, 2004; Jonides et al., 2005; Postle, 2006). Die vorliegenden Resultate geben darüber hinaus Hinweise auf eine materialunabhängige Gültigkeit dieser Modelle. Kapazitätsbegrenzungen des visuellen AGs können an verschiedenen Stufen der Verarbeitung zum Tragen kommen. Die Befunde der vorgestellten Verhaltens- und fMRT-Experimente verdeutlichen, dass begrenzte neuronale und kognitive Ressourcen, die gemeinsam von den Mechanismen der visuellen Aufmerksamkeit und des visuellen AG beansprucht werden, zu einem Flaschenhals in der Informationsverarbeitung während der Phase der Enkodierung führen können.