Refine
Year of publication
Document Type
- Doctoral Thesis (23)
Has Fulltext
- yes (23)
Is part of the Bibliography
- no (23)
Keywords
- Großhirnrinde (2)
- Schlaf (2)
- Sehrinde (2)
- sparse coding (2)
- Abstandsinformation (1)
- Auditory cortex (1)
- Bilderkennung (1)
- EEG (1)
- Entwicklungspsychologie (1)
- Gedächtnis (1)
Institute
- Physik (12)
- Informatik (7)
- Frankfurt Institute for Advanced Studies (FIAS) (3)
- Informatik und Mathematik (3)
- Medizin (1)
A framework for the analysis and visualization of multielectrode spike trains / von Ovidiu F. Jurjut
(2009)
The brain is a highly distributed system of constantly interacting neurons. Understanding how it gives rise to our subjective experiences and perceptions depends largely on understanding the neuronal mechanisms of information processing. These mechanisms are still poorly understood and a matter of ongoing debate remains the timescale on which the coding process evolves. Recently, multielectrode recordings of neuronal activity have begun to contribute substantially to elucidating how information coding is implemented in brain circuits. Unfortunately, analysis and interpretation of multielectrode data is often difficult because of their complexity and large volume. Here we propose a framework that enables the efficient analysis and visualization of multielectrode spiking data. First, using self-organizing maps, we identified reoccurring multi-neuronal spike patterns that evolve on various timescales. Second, we developed a color-based visualization technique for these patterns. They were mapped onto a three-dimensional color space based on their reciprocal similarities, i.e., similar patterns were assigned similar colors. This innovative representation enables a quick and comprehensive inspection of spiking data and provides a qualitative description of pattern distribution across entire datasets. Third, we quantified the observed pattern expression motifs and we investigated their contribution to the encoding of stimulus-related information. An emphasis was on the timescale on which patterns evolve, covering the temporal scales from synchrony up to mean firing rate. Using our multi-neuronal analysis framework, we investigated data recorded from the primary visual cortex of anesthetized cats. We found that cortical responses to dynamic stimuli are best described as successions of multi-neuronal activation patterns, i.e., trajectories in a multidimensional pattern space. Patterns that encode stimulus-specific information are not confined to a single timescale but can span a broad range of timescales, which are tightly related to the temporal dynamics of the stimuli. Therefore, the strict separation between synchrony and mean firing rate is somewhat artificial as these two represent only extreme cases of a continuum of timescales that are expressed in cortical dynamics. Results also indicate that timescales consistent with the time constants of neuronal membranes and fast synaptic transmission (~10-20 ms) appear to play a particularly salient role in coding, as patterns evolving on these timescales seem to be involved in the representation of stimuli with both slow and fast temporal dynamics.
Das Gehirn ist die wohl komplexeste Struktur auf Erden, die der Mensch erforscht. Es besteht aus einem riesigen Netzwerk von Nervenzellen, welches in der Lage ist eingehende sensorische Informationen zu verarbeiten um daraus eine sinnvolle Repräsentation der Umgebung zu erstellen. Außerdem koordiniert es die Aktionen des Organismus um mit der Umgebung zu interagieren. Das Gehirn hat die bemerkenswerte Fähigkeit sowohl Informationen zu speichern als auch sich ständig an ändernde Bedingungen anzupassen, und zwar über die gesamte Lebensdauer. Dies ist essentiell für Mensch oder Tier um sich zu entwickeln und zu lernen. Die Grundlage für diesen lebenslangen Lernprozess ist die Plastizität des Gehirns, welche das riesige Netzwerk von Neuronen ständig anpasst und neu verbindet. Die Veränderungen an den synaptischen Verbindungen und der intrinsischen Erregbarkeit jedes Neurons finden durch selbstorganisierte Mechanismen statt und optimieren das Verhalten des Organismus als Ganzes. Das Phänomen der neuronalen Plastizität beschäftigt die Neurowissenschaften und anderen Disziplinen bereits über mehrere Jahrzehnte. Dabei beschreibt die intrinsische Plastizität die ständige Anpassung der Erregbarkeit eines Neurons um einen ausbalancierten, homöostatischen Arbeitsbereich zu gewährleisten. Aber besonders die synaptische Plastizität, welche die Änderungen in der Stärke bestehender Verbindungen bezeichnet, wurde unter vielen verschiedenen Bedingungen erforscht und erwies sich mit jeder neuen Studie als immer komplexer. Sie wird durch ein komplexes Zusammenspiel von biophysikalischen Mechanismen induziert und hängt von verschiedenen Faktoren wie der Frequenz der Aktionspotentiale, deren Timing und dem Membranpotential ab und zeigt außerdem eine metaplastische Abhängigkeit von vergangenen Ereignissen. Letztlich beeinflusst die synaptische Plastizität die Signalverarbeitung und Berechnung einzelner Neuronen und der neuronalen Netzwerke.
Der Schwerpunkt dieser Arbeit ist es das Verständnis der biologischen Mechanismen und deren Folgen, die zu den beobachteten Plastizitätsphänomene führen, durch eine stärker vereinheitlichte Theorie voranzutreiben.Dazu stelle ich zwei funktionale Ziele für neuronale Plastizität auf, leite Lernregeln aus diesen ab und analysiere deren Konsequenzen und Vorhersagen.
Kapitel 3 untersucht die Unterscheidbarkeit der Populationsaktivität in Netzwerken als funktionales Ziel für neuronale Plastizität. Die Hypothese ist dabei, dass gerade in rekurrenten aber auch in vorwärtsgekoppelten Netzwerken die Populationsaktivität als Repräsentation der Eingangssignale optimiert werden kann, wenn ähnliche Eingangssignale eine möglichst unterschiedliche Repräsentation haben und dadurch für die nachfolgende Verarbeitung besser unterscheidbar sind. Das funktionale Ziel ist daher diese Unterscheidbarkeit durch Veränderungen an den Verbindungsstärke und der Erregbarkeit der Neuronen mithilfe von lokalen selbst-organisierten Lernregeln zu maximieren. Aus diesem funktionale Ziel lassen sich eine Reihe von Standard-Lernenregeln für künstliche neuronale Netze gemeinsam abzuleiten.
Kapitel 4 wendet einen ähnlichen funktionalen Ansatz auf ein komplexeres, biophysikalisches Neuronenmodell an. Das Ziel ist eine spärliche, stark asymmetrische Verteilung der synaptischen Stärke, wie sie auch bereits mehrfach experimentell gefunden wurde, durch lokale, synaptische Lernregeln zu maximieren. Aus diesem funktionalen Ansatz können alle wichtigen Phänomene der synaptischen Plastizität erklärt werden. Simulationen der Lernregel in einem realistischen Neuronmodell mit voller Morphologie erklären die Daten von timing-, raten- und spannungsabhängigen Plastizitätsprotokollen. Die Lernregel hat auch eine intrinsische Abhängigkeit von der Position der Synapse, welche mit den experimentellen Ergebnissen übereinstimmt. Darüber hinaus kann die Lernregel ohne zusätzliche Annahmen metaplastische Phänomene erklären. Dabei sagt der Ansatz eine neue Form der Metaplastizität voraus, welche die timing-abhängige Plastizität beeinflusst. Die formulierte Lernregel führt zu zwei neuartigen Vereinheitlichungen für synaptische Plastizität: Erstens zeigt sie, dass die verschiedenen Phänomene der synaptischen Plastizität als Folge eines einzigen funktionalen Ziels verstanden werden können. Und zweitens überbrückt der Ansatz die Lücke zwischen der funktionalen und mechanistische Beschreibungsweise. Das vorgeschlagene funktionale Ziel führt zu einer Lernregel mit biophysikalischer Formulierung, welche mit etablierten Theorien der biologischen Mechanismen in Verbindung gebracht werden kann. Außerdem kann das Ziel einer spärlichen Verteilung der synaptischen Stärke als Beitrag zu einer energieeffizienten synaptischen Signalübertragung und optimierten Codierung interpretiert werden.
Inhaltsverzeichnis 1. Einleitung …………………………………………………………………...3 1.1 Erklärungsversuche und Forschungsergebnisse der Gegenwart ……8 1.2 Zielrichtung und Abgrenzung der aktuellen Arbeit ………………..21 1.3 Intention und Erläuterung der Versuchsreihen ………………….....25 2. Grundlagen und Methodiken bezüglich des subjektiven visuellen Wahrnehmungsraums …………………………………………………........27 2.1 Die nativistische und die empiristische Anschauung ………………27 2.2 Räumliche Anordnungen der wahrgenommenen Objekte …………31 2.3 Über die visuell vermittelte Richtungs- und Lagebestimmung …....33 2.4 Visuelle Auswertungen der korrespondierenden Netzhautstellen …42 2.5 Visuelle Auswertungen der disparaten Netzhautstellen …………...44 2.6 Die Größenkonstanzleistung ………………………………………47 2.7 Psychophysikalische Grundlagen und Schwellenwerte …………...50 2.8 Physiologische Grundlagen ………………………………………..54 3. Experimentelle Untersuchung ……………………………………………..60 3.1 Versuchsaufbau und Ablauf zur Durchführung der Experimente …60 3.1.1 Zusammensetzungen der Versuchsteilnehmer ……………66 3.1.2 Erläuterungen und Ablauf der 2 Versuchsreihen …………66 3.2 Graphische Darstellungen der Messergebnisse ……………………71 3.2.1 I.Versuchsreihe ……………………………………………71 3.2.2 II.Versuchsreihe …………………………………………...93 3.3 Auswertung und Aufbereitung der Messdaten …………………..102 3.3.1 Auswertungen der I.Versuchsreihe ……………………..102 3.3.2 Auswertungen der II.Versuchsreihe …………………….120 3.3.3 Fehlerbetrachtungen der Versuchsreihen I und II ………122 3.4 Diskussion der Messdaten ……………………………………….124 4. Zusammenfassung und Ausblick ………………………………………...135 Begriffsverzeichnis mit kurzer Erklärung.…………………………………...137 Literaturverzeichnis …………………………………………………….........141 Bildquellenverzeichnis ………………………………………………….......143 Als Fazit kann man folgendes zusammenfassend sagen: Die aufgestellte Arbeitshypothese wurde durch die beiden Versuchsreihen verifiziert, denn die Ergebnisse ergaben folgendes: - In den Messreihen der Versuchsreihe I ist jeweils ein Anstieg der eingestellten Größe, je mehr Abstandsinformationen zugelassen wurden, zu verzeichnen. Das bedeutet, der Anstieg wurde umso größer, desto größer die AID wurde. Auch waren in allen Messreihen die monokularen Größeneinstellungen, bei sonst konstanter AID, gegenüber der binokularen Größeneinstellung geringer. Bei Verringerung der Einstellentfernung wurden die Abweichungen zwischen den subjektiven und den objektiven Größen ebenfalls größer. Das heißt also, die subjektive visuelle Wahrnehmungsgröße ist von der AID wie folgt abhängig: Das visuelle System bewertet subjektiv die Wahrnehmungsgröße bei maximaler AID nach oben und relativ dazu, bei minimaler AID nach unten. - Dass die aufgestellten Parameter die AID bedingen, konnte durch die 1. Messreihe gezeigt werden, da der jeweilige Anstieg der eingestellten Größe, nur durch die Variation eines Parameters erfolgte. Die Querdisparation konnte aber hier nicht als Parameter der die AID bedingt isoliert untersucht werden. Bei den meisten Probanden ergaben sich sehr schnell Doppelbilder und erzeugten bei ihnen ein Unbehagen. Aber dennoch floss dieser Parameter als einflussnehmende Größe in den Konvergenzgrad mit ein. Das Netzhautbild konnte nur kombiniert mit dem psychologischen Gefühl der Nähe isoliert betrachtet werden. Damit die Voraussetzungen in beiden Versuchen gleich waren, wurde in der Versuchsreihe II unter gleichen Versuchsbedingungen wie in der Versuchsreihe I gemessen. Auch hier wurden die Abstandsinformationen von minimal bis maximal sukzessive zugelassen. Durch die Messdaten der Versuchsreihe II konnte eindeutig gezeigt werden, dass die Abstandsunterschiedsschwelle umso geringer ausfällt, desto mehr Abstandskriterien hinzukamen, also die AID erhöht wurde. Analog kehren sich die Verhältnisse um, wenn die AID erniedrigt wird. Durch diesen kausalen Zusammenhang zwischen der Abstandsunterschiedsschwelle des visuellen Systems und der Güte der AID bestätigt sich zusätzlich die Annahme, dass die eingeführten Parameter des Abstandes tatsächlich als solche zu betrachten sind und die AID konstituieren. Denn wären sie keine Konstituenten der AID, so müssten die Unterschiedsschwellen der Versuchsreihe II in etwa gleich sein. Da aber die Änderung der Randbedingungen sich auf die verwertbaren Abstandsinformationen bezogen und somit die AID jeweils geändert wurde, ist die aufgestellte Annahme über die Parameter, welche die AID bedingen, berechtigt. - Dass im orthostereoskopischen Bereich die subjektiven Größeneinstellungen gegenüber der Zentralprojektion am weitesten auseinander liegen, bestätigte sich durch alle Messreihen der Versuchsreihe I. In diesem Bereich existiert die maximale Unabhängigkeit der visuellen Wahrnehmungsgröße vom Gesichtswinkel. In diesem Bereich liegt eine sehr hohe Güte in der Größenkonstanzleistung des visuellen Systems vor. Dass die Größenkonstanz qualitativ dem aufgestellten Formalismus aus Annahme 2 genügt und die aufgestellte qualitative Relation sie beschreibt, konnte nicht gezeigt werden. Das begründet sich durch das Zustandekommen der Größenkonstanz. Sie resultiert bekanntlich aus einer Entfernungsänderung. Je nach dem, ob sich ein Objekt dem Beobachter nähert oder entfernt, setzt diese Bildgrößenkompensation ein. Von daher unterliegt sie einem dynamischen Prozess und kann dadurch mit Relation (2´) nicht beschreiben werden. - Mit der Relation 2´ kann man qualitativ die Unbestimmtheit in der visuellen Wahrnehmungsentfernung beschreiben und qualitativ erklären. Der Aspekt der Abstandsunterschiedsschwelle ist etwas verwirrend. Auf der einen Seite handelt es sich um eine Vermögensleistung des visuellen Systems, welches abhängig ist von den vorliegenden Abstandsinformationen, die ihrerseits die AID bedingen. Auf der anderen Seite bedingt die Abstandsunterschiedsschwelle die AID durch ihre Güte und Qualität, beeinflusst also umgekehrt auch die AID. In der Versuchsreihe 2 wurde auf die Vermögensleistung des visuellen Systems und deren Abhängigkeit von den Parametern eingegangen, die auch die AID bedingen. Dies diente dazu, zusätzlich zu zeigen, dass es sich bei diesen Parametern um Parameter handelt, welche die AID bedingen. Die Argumentationskette lautete wie folgt: Die Abstandsunterschiedsschwelle beeinflusst die AID. Die betrachteten Parameter beeinflussten die Abstandsunterschiedsschwelle, dass experimentell verifiziert wurde. Daraus folgte dann, dass eben diese Parameter auch die AID bedingen. Diese Argumentation diente nur als zusätzliches Hilfsmittel. Bei Punkt 4 sollte die Abstandsunterschiedsschwelle und ihr Einfluss auf die Unbestimmtheit hin betrachtet werden. Dies hat aber nur sekundäre Relevanz, da hier die Anwendung der Relation 2´ im Vordergrund stand. - Ob die Fitting-Funktion, welche die Messdaten der Versuchsreihe I approximierte, sich als Algorithmus für die Darstellung einer Bewegungssimulation eignet, kann noch nicht gesagt werden. Es müssen noch Untersuchungen umgesetzt werden, welche die Diagonalbewegung beschreiben. In der stirnfrontalen Vor- und Zurückbewegung ist der simulierte Bewegungsablauf mit der Fitting-Funktion gegenüber der linearen Darstellung realistischer. Dies ist in der ersten 100cm Raumtiefe besonders merklich, da die Fitting-Funktion die Größenkonstanzleistung des visuellen Systems berücksichtigt. Die auf dem konventionellen Computerspielmarkt eingesetzten Algorithmen für die Darstellung von Vor- und Zurückbewegungen sind dagegen nahezu linear, welches dem Beobachter einen etwas unnatürlichen Seheindruck vermittelt. Die Fitting-Funktion könnte auch für die Simulation von Zeichentrickfilmen verwendet werden. Auch dort wird die Größenkonstanzleistung des visuellen Systems nicht berücksichtigt. Aber gerade diese Konstanzleistung gestaltet die Größenvariation der wahrgenommenen Objekte bei Entfernungsänderungen. Dies ist besonders im orthostereoskopischen Bereich merklich.
This thesis will first introduce in more detail the Bayesian theory and its use in integrating multiple information sources. I will briefly talk about models and their relation to the dynamics of an environment, and how to combine multiple alternative models. Following that I will discuss the experimental findings on multisensory integration in humans and animals. I start with psychophysical results on various forms of tasks and setups, that show that the brain uses and combines information from multiple cues. Specifically, the discussion will focus on the finding that humans integrate this information in a way that is close to the theoretical optimal performance. Special emphasis will be put on results about the developmental aspects of cue integration, highlighting experiments that could show that children do not perform similar to the Bayesian predictions. This section also includes a short summary of experiments on how subjects handle multiple alternative environmental dynamics. I will also talk about neurobiological findings of cells receiving input from multiple receptors both in dedicated brain areas but also primary sensory areas. I will proceed with an overview of existing theories and computational models of multisensory integration. This will be followed by a discussion on reinforcement learning (RL). First I will talk about the original theory including the two different main approaches model-free and model-based reinforcement learning. The important variables will be introduced as well as different algorithmic implementations. Secondly, a short review on the mapping of those theories onto brain and behaviour will be given. I mention the most in uential papers that showed correlations between the activity in certain brain regions with RL variables, most prominently between dopaminergic neurons and temporal difference errors. I will try to motivate, why I think that this theory can help to explain the development of near-optimal cue integration in humans. The next main chapter will introduce our model that learns to solve the task of audio-visual orienting. Many of the results in this section have been published in [Weisswange et al. 2009b,Weisswange et al. 2011]. The model agent starts without any knowledge of the environment and acts based on predictions of rewards, which will be adapted according to the reward signaling the quality of the performed action. I will show that after training this model performs similarly to the prediction of a Bayesian observer. The model can also deal with more complex environments in which it has to deal with multiple possible underlying generating models (perform causal inference). In these experiments I use di#erent formulations of Bayesian observers for comparison with our model, and find that it is most similar to the fully optimal observer doing model averaging. Additional experiments using various alterations to the environment show the ability of the model to react to changes in the input statistics without explicitly representing probability distributions. I will close the chapter with a discussion on the benefits and shortcomings of the model. The thesis continues whith a report on an application of the learning algorithm introduced before to two real world cue integration tasks on a robotic head. For these tasks our system outperforms a commonly used approximation to Bayesian inference, reliability weighted averaging. The approximation is handy because of its computational simplicity, because it relies on certain assumptions that are usually controlled for in a laboratory setting, but these are often not true for real world data. This chapter is based on the paper [Karaoguz et al. 2011]. Our second modeling approach tries to address the neuronal substrates of the learning process for cue integration. I again use a reward based training scheme, but this time implemented as a modulation of synaptic plasticity mechanisms in a recurrent network of binary threshold neurons. I start the chapter with an additional introduction section to discuss recurrent networks and especially the various forms of neuronal plasticity that I will use in the model. The performance on a task similar to that of chapter 3 will be presented together with an analysis of the in uence of different plasticity mechanisms on it. Again benefits and shortcomings and the general potential of the method will be discussed. I will close the thesis with a general conclusion and some ideas about possible future work.
The brain is a highly dynamic and variable system: when the same stimulus is presented to the same animal on the same day multiple times, the neural responses show high trial-to-trial variability. In addition, even in the absence of sensory stimulation neural recordings spontaneously show seemingly random activity patterns. Evoked and spontaneous neural variability is not restricted to activity but is also found in structure: most synapses do not survive for longer than two weeks and even those that do show high fluctuations in their efficacy.
Both forms of variability are further affected by stochastic components of neural processing such as frequent transmission failure. At present it is unclear how these observations relate to each other and how they arise in cortical circuits.
Here, we will investigate how the self-organizational processes of neural circuits affect the high variability in two different directions: First, we will show that recurrent dynamics of self-organizing neural networks can account for key features of neural variability. This is achieved in the absence of any intrinsic noise sources by the neural network models learning a predictive model of their environment with sampling-like dynamics. Second, we will show that the same self-organizational processes can compensate for intrinsic noise sources. For this, an analytical model and more biologically plausible models are established to explain the alignment of parallel synapses in the presence of synaptic failure.
Both modeling studies predict properties of neural variability, of which two are subsequently tested on a synapse database from a dense electron microscopy reconstruction from mouse somatosensory cortex and on multi-unit recordings from the visual cortex of macaque monkeys during a passive viewing task. While both analyses yield interesting results, the predicted properties were not confirmed, guiding the next iteration of experiments and modeling studies.
Cortical circuits exhibit highly dynamic and complex neural activity. Intriguingly, cortical activity exhibits consistently two key features across observed species and brain areas. First, individual neurons tend to be co-active in spatially localized domains forming orderly arranged, modular layouts with a typical spatial scale. Second, cortical elements are correlated in their activity over large distances reflecting long-range network interactions distributed over several millimeters. Currently, it is unclear how these two fundamental properties emerge in the early developing cortical activity.
Here, I aim to fill this gap by combining analyses of chronic imaging data and network models of developing cortical activity. Neural recordings of spontaneous and visually evoked activity in primary visual cortex of ferrets during their early cortical development were obtained using in vivo 2-photon and widefield epi-fluorescence calcium imaging. Spontaneous activity was used to probe the early state of cortical networks as its spatiotemporal organization is independent of a stimulus-imposed structure, and it is already present early in cortical development prior to reliably evoked responses. To assess the mature functional organization of distributed networks in cortex, the tuning of neural responses to stimulus features, in particular to the orientation of an edge-like stimulus, was assessed. Cortical responses to moving gratings of varying orientations form an orderly arranged layout of orientation domains extending over several millimeters.
To begin with, I showed that spontaneous activity correlations extend over several millimeters, supporting the assumption of using spontaneous activity to assess distributed networks in cortex.
Next, I asked how distributed networks in the mature visual cortex - assessed by spontaneous activity correlations - are related to its fine-scale functional organization. I found that the spatially extended and modular spontaneous correlation patterns accurately predict the fine spatial structure of visually evoked orientation domains several millimeters away. These results suggest a close relation between spontaneous correlations and visually evoked responses on a fine spatial scale and across large spatial distances.
As the principles governing the functional organization and development of distributed network interactions in the neocortex remain poorly understood, I next asked how long range correlated activity arises early in development. I found that key features of mature spontaneous activity introduced in this work, including long-range spontaneous correlations, were present already early in cortical development prior to the maturation of long-range, horizontal connections, and the predicted mature orientation preference layout. Even after silencing feed-forward input drive by inactivating retina or thalamus, long-range correlated and modular activity robustly emerged in early cortex. These results suggest that local recurrent connections in early cortical circuits can generate structured long-range network correlations that guide the formation of visually-evoked distributed functional networks.
To investigate how these large-scale cortical networks emerge prior to the maturation and elaboration of long-range horizontal connectivity, I examined a statistical network model describing an ensemble of spatially extended spontaneous activity patterns. I found a direct relationship between the dimensionality of this ensemble of activity patterns and the decay of its correlation structure. Specifically, reducing the dimensionality of the ensemble leads to an increase in the spatial range of the correlation structure.
To test whether this mechanism could generate a long-range correlation structure in cortical circuits, I studied a dynamical network model implementing a dimensionality reduction mechanism. Based on previous work demonstrating that network heterogeneity reduces the dimensionality of activity patterns, I showed that by increasing the degree of heterogeneity in the network, the dimensionality of the ensemble of activity patterns decreases and in turn their correlations extend over a greater range. A comparison to experimental data revealed a quantitative match between the network model and the observations in vivo in several of the key features of the early cortex including the spatial scale of correlations. Low dimensionality of spontaneous activity thus might provide an organizational principle explaining the observed long-range correlation structure in the early cortex.
Finally, I asked whether a network with a biologically plausible architecture can generate modular activity. Several classical models showed that modular activity patterns can emerge via an intracortical mechanism involving lateral inhibition. However, this assumption appears to be in conflict with current experimental evidence. Moreover, these network models were not experimentally tested, so far. Here, I showed by using linear stability analysis that spatially localized self-inhibition relaxes the constraints on the connectivity structure in a network model, such that biologically more plausible network motifs with shorter ranging inhibition than excitation can robustly generate modular activity.
Importantly, I also provided several model predictions to make the class of network models experimentally testable in view of recent technological advancements in imaging and manipulation of cortical circuits. A critical prediction of the model is the decrease in spacing of active domains when the total amount of inhibition increases. These results provide a novel mechanism of how cortical circuits with short-range inhibition can form modular activity.
Taken together, this thesis provides evidence that the two described fundamental features of neural activity are already present in the early cortex and shows that activity with those features can be generated in network models with an architecture consistent with the early cortex using basic principles.
The brain is a large complex system which is remarkably good at maintaining stability under a wide range of input patterns and intensities. In addition, such a stable dynamical state is able to sustain essential functions, including the encoding of information about the external environment and storing memories. In order to succeed in these challenging tasks, neural circuits rely on a variety of plasticity mechanisms that act as self-organizational rules and regulate their dynamics. Based on toy models of self-organized criticality, this stable state has been proposed to be a phase transition point, poised between distinct types of unhealthy dynamics, in what has become known as the critical brain hypothesis. It is not yet known, however, if and how self-organization could drive biological neural networks towards a critical state while maintaining or improving their learning and memory functions.
Here, we investigate the emergence of criticality signatures in the form of neuronal avalanches due to self-organizational plasticity rules in a recurrent neural network. We show that power-law distributions of events, widely observed in experiments, arise from a combination of biologically inspired synaptic and homeostatic plasticity but are highly dependent on the external drive. Additionally, we describe how learning abilities and fading memory emerge and are improved by the same self-organizational processes. We finally propose an application of these enhanced functions, focusing on sequence and simple language learning tasks.
Taken together, our results suggest that the same self-organizational processes can be responsible for improving the brain’s spatio-temporal learning abilities and memory capacity while also giving rise to criticality signatures under particular input conditions, thus proposing a novel link between such abilities and neuronal avalanches. Although criticality was not verified, the detailed study of self-organization towards critical dynamics further elucidates its potential emergence and functions in the brain.
Cryo-electron tomography (CET) is a unique technique to visualize biological objects under near-to-native conditions at near-atomic resolution. CET provides three-dimensional (3D) snapshots of the cellular proteome, in which the spatial relations between macromolecular complexes in their near native cellular context can be explored. Due to the limitation of the electron dose applicable on biological samples, the achievable resolution of a tomogram is restricted to a few nanometers, higher resolution can be achieved by averaging of structures occurring in multiples. For this purpose, computational techniques such as template matching, sub-tomogram averaging and classification are essential for a meaningful processing of CET data.
This thesis introduces the techniques of template matching and sub-tomogram averaging and their applications on real biological data sets. Subsequently, the problem of reference bias, which restricts the applicability of those techniques, is addressed. Two methods that estimate the reference bias in Fourier and real space are demonstrated. The real space method, which we have named the “M-free” score, provides a reliable estimation of the reference bias, which gives access to the reliability of the template matching or sub-tomogram averaging process. Thus, the “M-free” score makes those approaches more applicable to structural biology. Furthermore, a classification algorithm based on Neural Networks (NN) called “KerDenSOM3D” is introduced, which is implemented in 3D and compensates for the missing-wedge. This approach helps extracting different structural states of macromolecular complexes or increasing the class purity of data sets by eliminating outliers. A comprehensive comparison with other classification methods shows superior performance of KerDenSOM3D.
Die vorgelegte Dissertation behandelt den Einfluss homöostatischer Adaption auf die Informationsverarbeitung und Lenrprozesse in neuronalen Systemen. Der Begriff Homöostase bezeichnet die Fähigkeit eines dynamischen Systems, bestimmte interne Variablen durch Regelmechanismen in einem dynamischen Gleichgewicht zu halten. Ein klassisches Beispiel neuronaler Homöostase ist die dynamische Skalierung synaptischer Gewichte, wodurch die Aktivität bzw. Feuerrate einzelner Neuronen im zeitlichen Mittel konstant bleibt. Bei den von uns betrachteten Modellen handelt es sich um eine duale Form der neuronalen Homöostase. Das bedeutet, dass für jedes Neuron zwei interne Parameter an eine intrinsische Variable wie die bereits erwähnte mittlere Aktivität oder das Membranpotential gekoppelt werden. Eine Besonderheit dieser dualen Adaption ist die Tatsache, dass dadurch nicht nur das zeitliche Mittel einer dynamischen Variable, sondern auch die zeitliche Varianz, also die stärke der Fluktuation um den Mittelwert, kontrolliert werden kann. In dieser Arbeit werden zwei neuronale Systeme betrachtet, in der dieser Aspekt zum Tragen kommt.
Das erste behandelte System ist ein sogennantes Echo State Netzwerk, welches unter die Kategorie der rekurrenten Netzwerke fällt. Rekurrente neuronale Netzwerke haben im Allgemeinen die Eigenschaft, dass eine Population von Neuronen synaptische Verbindungen besitzt, die auf die Population selbst projizieren, also rückkoppeln. Rekurrente Netzwerke können somit als autonome (falls keinerlei zusätzliche externe synaptische Verbindungen existieren) oder nicht-autonome dynamische Systeme betrachtet werden, die durch die genannte Rückkopplung komplexe dynamische Eigenschaften besitzen. Abhängig von der Struktur der rekurrenten synaptischen Verbindungen kann beispielsweise Information aus externem Input über einen längeren Zeitraum gespeichert werden. Ebenso können dynamische Fixpunkte oder auch periodische bzw. chaotische Aktivitätsmuster entstehen. Diese dynamische Vielseitigkeit findet sich auch in den im Gehirn omnipräsenten rekurrenten Netzwerken und dient hier z.B. der Verarbeitung sensorischer Information oder der Ausführung von motorischen Bewegungsmustern. Das von uns betrachtete Echo State Netzwerk zeichnet sich dadurch aus, dass rekurrente synaptische Verbindungen zufällig generiert werden und keiner synaptischen Plastizität unterliegen. Verändert werden im Zuge eines Lernprozesses nur Verbindungen, die von diesem sogenannten dynamischen Reservoir auf Output-Neuronen projizieren. Trotz der Tatsache, dass dies den Lernvorgang stark vereinfacht, ist die Fähigkeit des Reservoirs zur Verarbeitung zeitabhängiger Inputs stark von der statistischen Verteilung abhängig, die für die Generierung der rekurrenten Verbindungen verwendet wird. Insbesondere die Varianz bzw. die Skalierung der Gewichte ist hierbei von großer Bedeutung. Ein Maß für diese Skalierung ist der Spektralradius der rekurrenten Gewichtsmatrix.
In vorangegangenen theoretischen Arbeiten wurde gezeigt, dass für das betrachtete System ein Spektralradius nahe unterhalb des kritischen Wertes von 1 zu einer guten Performance führt. Oberhalb dieses Wertes kommt es im autonomen Fall zu chaotischem dynamischen Verhalten, welches sich negativ auf die Informationsverarbeitung auswirkt. Der von uns eingeführte und als Flow Control bezeichnete duale Adaptionsmechanismus zielt nun darauf ab, über eine Skalierung der synaptischen Gewichte den Spektralradius auf den gewünschten Zielwert zu regulieren. Essentiell ist hierbei, dass die verwendete Adaptionsdynamik im Sinne der biologischen Plausibilität nur auf lokale Größen zurückgreift. Dies geschieht im Falle von Flow Control über eine Regulation der im Membranpotential der Zelle auftretenden Fluktuationen. Bei der Evaluierung der Effektivität von Flow Control zeigte sich, dass der Spektralradius sehr präzise kontrolliert werden kann, falls die Aktivitäten der Neuronen in der rekurrenten Population nur schwach korreliert sind. Korrelationen können beispielsweise durch einen zwischen den Neuronen stark synchronisierten externen Input induziert werden, der sich dementsprechend negativ auf die Präzision des Adaptionsmechanismus auswirkt.
Beim Testen des Netzwerks in einem Lernszenario wirkte sich dieser Effekt aber nicht negativ auf die Performance aus: Die optimale Performance wurde unabhängig von der stärke des korrelierten Inputs für einen Spektralradius erreicht, der leicht unter dem kritischen Wert von 1 lag. Dies führt uns zu der Schlussfolgerung, dass Flow Control unabhängig von der Stärke der externen Stimulation in der Lage ist, rekurrente Netze in einen für die Informationsverarbeitung optimalen Arbeitsbereich einzuregeln.
Bei dem zweiten betrachteten Modell handelt es sich um ein Neuronenmodell mit zwei Kompartimenten, welche der spezifischen Anatomie von Pyramidenneuronen im Kortex nachempfunden ist. Während ein basales Kompartiment synaptischen Input zusammenfasst, der in Dendriten nahe des Zellkerns auftritt, repräsentiert das zweite apikale Kompartiment die im Kortex anzutreffende komplexe dendritische Baumstruktur. In früheren Experimenten konnte gezeigt werden, dass eine zeitlich korrelierte Stimulation sowohl im basalen als auch apikalen Kompartiment eine deutlich höhere neuronale Aktivität hervorrufen kann als durch Stimulation nur einer der beiden Kompartimente möglich ist. In unserem Modell können wir zeigen, dass dieser Effekt der Koinzidenz-Detektion es erlaubt, den Input im apikalen Kompartiment als Lernsignal für synaptische Plastizität im basalen Kompartiment zu nutzen. Duale Homöostase kommt auch hier zum Tragen, da diese in beiden Kompartimenten sicherstellt, dass sich der synaptische Input hinsichtlich des zeitlichen Mittels und der Varianz in einem für den Lernprozess benötigten Bereich befindet. Anhand eines Lernszenarios, das aus einer linearen binären Klassifikation besteht, können wir zeigen, dass sich das beschriebene Framework für biologisch plausibles überwachtes Lernen eignet.
Die beiden betrachteten Modelle zeigen beispielhaft die Relevanz dualer Homöostase im Hinblick auf zwei Aspekte. Das ist zum einen die Regulation rekurrenter neuronaler Netze in einen dynamischen Zustand, der für Informationsverarbeitung optimal ist. Der Effekt der Adaption zeigt sich hier also im Verhalten des Netzwerks als Ganzes. Zum anderen kann duale Homöostase, wie im zweiten Modell gezeigt, auch für Plastizitäts- und Lernprozesse auf der Ebene einzelner Neuronen von Bedeutung sein. Während neuronale Homöostase im klassischen Sinn darauf beschränkt ist, Teile des Systems möglichst präzise auf einen gewünschten Mittelwert zu regulieren, konnten wir Anhand der diskutierten Modelle also darlegen, dass eine Kontrolle des Ausmaßes von Fluktuationen ebenfalls Einfluss auf die Funktionalität neuronaler Systeme haben kann.
Plasticity supports the remarkable adaptability and robustness of cortical processing. It allows the brain to learn and remember patterns in the sensory world, to refine motor control, to predict and obtain reward, or to recover function after injury. Behind this great flexibility hide a range of plasticity mechanisms, affecting different aspects of neuronal communication. However, little is known about the precise computational roles of some of these mechanisms. Here, we show that the interaction between spike-timing dependent plasticity (STDP), intrinsic plasticity and synaptic scaling enables neurons to learn efficient representations of their inputs. In the context of reward-dependent learning, the same mechanisms allow a neural network to solve a working memory task. Moreover, although we make no any apriori assumptions on the encoding used for representing inputs, the network activity resembles that of brain regions known to be associated with working memory, suggesting that reward-dependent learning may be a central force in working memory development. Lastly, we investigated some of the clinical implications of synaptic scaling and showed that, paradoxically, there are situations in which the very mechanisms that normally are required to preserve the balance of the system, may act as a destabilizing factor and lead to seizures. Our model offers a novel explanation for the increased incidence of seizures following chronic inflammation.