Open Access

Andreea Lazar

• Understanding the dynamics of recurrent neural networks is crucial for explaining how the brain processes information. In the neocortex, a range of different plasticity mechanisms are shaping recurrent networks into effective information processing circuits that learn appropriate representations for time-varying sensory stimuli. However, it has been difficult to mimic these abilities in artificial neural models. In the present thesis, we introduce several recurrent network models of threshold units that combine spike timing dependent plasticity with homeostatic plasticity mechanisms like intrinsic plasticity or synaptic normalization. We investigate how these different forms of plasticity shape the dynamics and computational properties of recurrent networks. The networks receive input sequences composed of different symbols and learn the structure embedded in these sequences in an unsupervised manner. Information is encoded in the form of trajectories through a high-dimensional state space reminiscent of recent biological findings on cortical coding. We find that these self-organizing plastic networks are able to represent and "understand" the spatio-temporal patterns in their inputs while maintaining their dynamics in a healthy regime suitable for learning. The emergent properties are not easily predictable on the basis of the individual plasticity mechanisms at work. Our results underscore the importance of studying the interaction of different forms of plasticity on network behavior.
• Selbstorganisierende rekurrente Netzwerke sind das Substrat neuronaler Informationsverarbeitung im Gehirn. Sowohl bezüglich ihrer synaptischen, als auch ihrer neuronalen Eigenschaften warten sie mit einer erstaunlichen Fähigkeit zu lernen und vielen Plastizitätsmechanismen auf. Diese Mechanismen müssen zusammenarbeiten um dem Gehirn die Fähigkeit zu ermöglichen hochdynamische Informationsflüsse zu verarbeiten und effiziente Repräsentierungen für die verschiedenartigenAufgaben, die es bewältigen muss, zu erlernen. Trotz des großen Fortschritts bei der individuellen Erforschung von Plastizitätsmechanismen haben wir auf der Netzwerkebene nur eine rudimentäre Vorstellung ihres Zusammenspiels. Computerbasierte Modellierung und theoretische Modelle können bei dieser Herausforderung ihren Beitrag leisten, indem sie einfache Modellsysteme bereitstellen, in der Erwartung die Grundprinzipien von Gehirnmechanismen aufzudecken. Die vorliegende Arbeit legt ihren Schwerpunkt auf die Wechselwirkungen verschiedener Formen der Plastizität, für das Lernen und zur Homäostase, in Netzwerken mit zeitlich variierenden, sensorischen Eingabestimuli. Stand der Technik bei Zeitfolgenverarbeitungsmodellen sind zufällige rekurrente Netze, die inhärent raum-zeitliche Eingabemuster kodieren können. Rekurrente Netzwerke, wie die "Liquid State Machine" oder das "Echo State Network", zusammengefasst auch Reservoirnetze genannt, transformieren die Eingabeströme nichtlinear in höherdimensionale Aktivierungsmuster. In jedem Zeitschritt kombiniert das Netzwerk einkommende Stimuli mit einer Salve rekurrenter Signale, die eine Gedächtnisspur kürzlich vergangener Eingaben enthält. Mit der Zeit formen die Zustände der Netzwerkaktivierung einen Pfad durch den Zustandsraum, welcher auch als neurale Trajektorie bezeichnet wird. Eine separate Ausleseschicht wird mit Techniken des überwachten Lernens trainiert, um die verschiedenen Bereiche des Zustandsraums auf die gewünschten Ausgaben abzubilden. Die Performanz eines Reservoirnetzes beruht auf zwei Voraussetzungen: (a) dass die verschiedenen Eingaben zu einer linear trennbaren Ausgabe der Reservoirantwort führen ("Trennbarkeitseigenschaft") und (b) dass die Aktivierungszustände des Netzwerks Information über kürzlich vergangene Eingaben behalten ("Fading Memory" Eigenschaft). Beide Eigenschaften wurden für reale kortikale Netze bestätigt. Da das für die zu berechnende Aufgabe nötige Lernen gänzlich außerhalb des Reservoirs stattfindet bestimmt die Wahl der Reservoirparameter wesentlich die Berechenbarkeitsklasse des Netzwerks. Im Idealfall würden die Parameter des rekurrenten Netzwerkes durch lokale unüberwachte Plastizität erreicht, die ähnlich zu kortikalen Mechanismen wäre. In den folgenden Kapiteln betrachten wir rekurrente Netzwerke unter dem Einfluss verschiedener Plastizitätsformen und studieren den Effekt der lokalen Änderungen des Neuronalen Schaltkreises bezüglich Gedächtnis- und Vorhersageaufgaben. Wir fragen: "Wie formen verschiedene Plastizitätsformen die Struktur, Dynamik und die rechenbetonten Eigenschaften rekurrenter Netzwerke?" Hierbei werden zwei Ziele verfolgt: ein biologisch plausibler Rahmen für raum-zeitliche Berechnungen in rekurrenten Netzwerken und ein Satz lokaler, unüberwachter Regeln um das technische Leistungsverhalten zu optimieren. ...