Open Access

Özgür Dogan

• Die menschliche Kommunikation von Angesicht zu Angesicht findet hauptsächlich auf audiovisueller Ebene statt. Normalerweise liefert der Gesprächspartner sowohl visuelle als auch auditorische Information. Es ist einfacher jemanden zu verstehen, wenn ein visueller Eingang vorliegt, weil visuelle Signale wie Mund- oder Zungenbewegungen komplementäre Informationen zum auditorischen Eingang liefern. In dieser Studie wurden die Hypothesen aufgestellt, dass (I) sowohl die Spracherkennung als auch die Stimmenerkennung bei fehlendem visuellem Eingang durch Zugriff auf visuelle Sprecher-spezifische Informationen optimiert werden kann und, dass (11) diese Optimierung auf Gehirnarealen für die visuelle Gesichtsverarbeitung beruht. Diesen Hypothesen wurde mit Hilfe von Verhaltenstests und der funktionellen Bildgebung in zwei Gruppen nachgegangen: Probanden mit einer mangelnden Fähigkeit, Gesichter zu erkennen (Prosopagnosie), und entsprechende Kontrollprobanden. Die Ergebnisse zeigten, dass das Beobachten einer bestimmten Person beim Reden für 2 min die darauffolgende rein auditorische Spracherkennung sowie die Stimmenerkennung verbessert. Bei beiden Gruppen, sowohl bei den Prosopagnostikern als auch bei den Kontrollprobanden, konnten die verbesserten Verhaltensdaten beim Erkennen des Sprachinhalts auf ein Areal zurückgeführt werden, das für die Verarbeitung von Gesichtsbewegungen zuständig ist. Bessere Verhaltensdaten bei der Stimmenerkennung konnten nur bei den Kontrollprobanden nachgewiesen werden, was auf einem Areal beruht, das der Verarbeitung der Gesichtserkennung zugeordnet wird. Diese Befunde stellen gängige unisensorische Modelle der Sprachverarbeitung infrage, da hier gezeigt werden konnte, dass das Gehirn selbst bei der rein auditorischen Spracherkennung auf zuvor gelernte audiovisuelle Zusammenhänge zurückgreift um die Kommunikation zu optimieren. Das legt die Möglichkeit nahe, dass dieser Optimierung Sprecher-spezifische audiovisuelle interne Modelle zugrunde liegen, welche benutzt werden, um ein sprechendes Gesicht zu simulieren.
• Human face-to-face communication is essentially audiovisual. Typically, people talking to each other face-to-face, provide concurrent auditory and visual input. Understanding someone is easier when there is visual input, because visual cues like mouth and tongue movements provide complementary information about speech content. Here, it is hypothesized that, even in the absence of visual input, the brain optimizes both auditory-only speech and speaker recognition by harvesting speakerspecific predictions and constraints from distinct visual face-processing areas. To test this hypothesis, behavioral and neuroimaging experiments in two groups were performed: subjects with a face recognition deficit (prosopagnosia) and matched controls. The results show that observing a specific person talking for 2 min improves subsequent auditory-only speech and speaker recognition for this person. In both prosopagnosics and controls, behavioral improvement in auditory-only speech recognition was based on an area typically involved in face-movement processing. Improvement in speaker recognition was only present in controls and was based on an area involved in face-identity processing. These findings challenge current unisensory models of speech processing, because they show that, in auditory-only speech, the brain exploits previously encoded audiovisual correlations to optimize communication. This optimization might be based on speaker-specific audiovisual internal models, which are used to simulate a talking face.