Open Access

Andrea Polony

• Die Wahrnehmung unserer Umwelt erfolgt über verschiedene Sinnesmodalitäten, deren Informationen bevorzugt in bestimmten Hirnarealen verarbeitet werden und sich schließlich zu einem kohärenten Bild ergänzen. Wie diese Prozesse ablaufen und durch welche Vorgänge die Wahrnehmungen einen einheitlichen Sinneseindruck formen, sind fundamentale Fragen der kognitiven Neurowissenschaft. Ziel der vorliegenden Studie war es, diese sensorischen Verarbeitungsprozesse genauer zu untersuchen und bisherige Ergebnisse zu bestätigen sowie neue Erkenntnisse bezüglich audio-haptischer und audio-visuo-haptischer Integration zu gewinnen. Weiterhin sollten angemessene Kriterien für die Auswertung der Daten untersucht werden mit dem Schwerpunkt sinnvoller Kontrollbedingungen. Sechzehn Probanden wurden hierzu mittels fMRT während uni-, bi- und trimodaler Stimulation untersucht. Die Stimulation bestand aus der Darbietung von schwarz-weißen Tierbildern, Tierstimmen und Tierfiguren, die einzeln oder in unterschiedlichen Kombinationen präsentiert wurden. Weiterhin gab es eine motorische Kontrollbedingung ohne sensorische Stimulation. Die unisensorischen Ergebnisse fanden sich in den modalitätsspezifischen Kortexarealen und bestätigten zum großen Teil bisherige Erkenntnisse und die Existenz der Was- und Wo-Pfade. Bimodale audio-visuelle Stimulation führte zu Aktivierungen im Temporallappen um den STS/STG, welcher bei audio-visueller Integration von großer Bedeutung ist. Aktivierungen im Gyrus cinguli, Gyrus fusiformis und Precuneus spielen anscheinend eine Rolle bei der Präsentation von familiären Stimuli und kongruenten Darbietungskombinationen. Auf Ebene früher visueller und auditorischer Leitungsbahnen zeigte sich ebenfalls audio-visuelle Interaktion. Visuo-haptische Integration scheint sich nach den vorliegenden Daten im LOtv, IPS und ventralen Zerebellum abzuspielen. LOtv und IPS sind vermutlich insbesondere für die Verarbeitung von geometrischen Formen von Bedeutung. Im ventralen Zerebellum kommt es durch kortiko-zerebelläre Verschaltungen zur Beteiligung bei visuo-haptischer Informationsverarbeitung. Die Aktivationsmuster bei audio-haptischer Stimulation deuteten auf Verarbeitung bilateral im temporo-parietalen Bereich hin in Temporallappen, Parietallappen und der Insula. Die Aktivierungen kommen vermutlich durch Feedforward-Projektionen und Konnektivität zwischen auditorischem und somatosensorischem Kortex zustande, in der Insula durch Konvergenz der auditorischen und somatosensorischen Was-Informationen. Trimodale Stimulation zeigte bei Anwendung des Max-Kriteriums, bei welchem die audio-visuo-haptische Aktivität stärker als die einzelnen unisensorischen Signalantworten ausfallen sollte, ein Areal im linken temporo-parietalen Bereich. Bei weniger strenger Auswertung wurde eine weitere Region im rechten Zerebellum nachgewiesen. Beide konnten der Erweiterung des Max-Kriteriums zum Vergleich zwischen tri- und bisensorischer Aktivität nicht standhalten. Beim Affen existiert eine superior temporale polysensorische Region, welche auf visuelle, auditorische und haptische Reize reagiert. Ob ein integratives trisensorisches Areal beim Menschen existiert, sollte in weiteren Studien untersucht werden. Vielleicht liegt eine ausgeprägte interindividuelle Variabilität der Lokalisation des Konvergenzpunktes vor. Eine andere Möglichkeit ist, dass die Verarbeitung im Gehirn vermehrt bisensorisch gegliedert verläuft. Um dies in zukünftigen Studien besser zu untersuchen, könnte es von Vorteil sein simple sensorische Stimuli zu verwenden. Eine Reizdegradierung hätte verminderte Signalamplituden zur Folge, was multisensorische Interaktionen mit nachfolgendem Signalanstieg besser beurteilen ließe. Darüber hinaus könnte in den Studien fMRT-Adaptation angewendet werden. Über die repetitive Stimulusdarbietung kommt es ebenfalls zu verminderter BOLD-Signalantwort. Die vorliegende Studie hat weiterhin die Notwendigkeit der Einführung von Kontrollbedingungen demonstriert. Neben unisensorischen sollten bisensorische Kontrollbedingungen zur Beurteilung trisensorischer Aktivität herangezogen werden. Eine Kontrollbedingung zur Beurteilung des Ruhezustandes ohne sensorischen Reiz sollte ebenfalls vorhanden sein. Prinzipiell scheint das Max-Kriterium zur Detektion multisensorischer Integration angemessen zu sein.
• The perception of our environment relies on information from the different sensory modalities which are processed in specialized brain regions and then integrated to form a coherent percept. How these processes take place and which operations lead to a coherent object perception are fundamental questions in the cognitive neurosciences. The aim of this study was to investigate the neural correlates of multisensory integration. We expected to confirm previous findings as well as to gain new insights into audio-haptic and audio-visuo-haptic integration. Furthermore it examined appropriate criteria for the evaluation of multisensory effects and focused on the role of an appropriate control condition. Sixteen subjects were scanned with fMRI during uni-, bi- and trimodal stimulation. The stimulation consisted of the presentation of black-and-white images of animals, animal voices and animal figures either in isolation or in different bi- or trimodal combinations. Furthermore there was a motor control condition without sensory input. The unisensory activations were located in the modality-specific cortices and mostly confirmed previous findings as well as the existence of the 'what' and 'where' pathways. Bimodal audio-visual stimulation elicited activations in the temporal lobe around the area of STS/STG which is highly relevant to the integration of audio-visual information. Activations in cingulate gyrus, fusiform gyrus and precuneus seem to occur when presenting familiar stimuli and congruent combinations. There were also audio-visual interactions in early visual and auditory conduction pathways. Visuo-haptic integration seems to take place in LOtv, IPS and the ventral cerebellum according to the present data. LOtv and IPS are probably involved in processing geometrical forms. The ventral cerebellum is activated through cortico-cerebellar circuits during visuo-haptic information processing. Audio-haptic stimulation revealed a bilateral temporo-parietal region located in-between the respective secondary and somatosensory cortices as well as the insula. Activations are probably attributable to feedforward projections and connectivity between auditory and somatosensory cortex. Auditory and somatosensory object information probably converges in the insula. Trimodal stimulation revealed activation in the left temporo-parietal region when applying the max-criterion which reveals areas responding more strongly to audio-visuo-haptic activation compared to each of the unisensory signals. Another area was identified in the right cerebellum when applying more liberal criteria. Both regions did not fulfill the extension of the max criterion to a comparison of the trisensory versus bisensory activations. Further studies are required to test whether a trisensory integration region, which has been found in simians, also exists in humans. Maybe there is a distinct interindividual variability in the localization of such a convergence site. Another possibility might be that cortical processing is based mainly on bisensory integration. To explore this in future studies it might be helpful to use more low-level stimulus material. A reduction of sensory input could lead to smaller signal amplitudes which would facilitate the interpretation of multisensory interactions. In addition the application of fMRI adaptation could be useful. Repeated stimulus presentation results in reductions of BOLD signals as well. The present study has demonstrated the need for appropriate control conditions. Trisensory activity should be compared to unisensory as well as bisensory control tasks to assess the result pattern. Stimulation conditions should be contrasted with control conditions without sensory input. It seems as if the max-criterion is suitable to investigate multisensory integration.