Refine
Year of publication
Document Type
- Doctoral Thesis (23)
Has Fulltext
- yes (23)
Is part of the Bibliography
- no (23)
Keywords
- Großhirnrinde (2)
- Schlaf (2)
- Sehrinde (2)
- sparse coding (2)
- Abstandsinformation (1)
- Auditory cortex (1)
- Bilderkennung (1)
- EEG (1)
- Entwicklungspsychologie (1)
- Gedächtnis (1)
Institute
- Physik (12)
- Informatik (7)
- Frankfurt Institute for Advanced Studies (FIAS) (3)
- Informatik und Mathematik (3)
- Medizin (1)
Cryo-electron tomography (CET) is a unique technique to visualize biological objects under near-to-native conditions at near-atomic resolution. CET provides three-dimensional (3D) snapshots of the cellular proteome, in which the spatial relations between macromolecular complexes in their near native cellular context can be explored. Due to the limitation of the electron dose applicable on biological samples, the achievable resolution of a tomogram is restricted to a few nanometers, higher resolution can be achieved by averaging of structures occurring in multiples. For this purpose, computational techniques such as template matching, sub-tomogram averaging and classification are essential for a meaningful processing of CET data.
This thesis introduces the techniques of template matching and sub-tomogram averaging and their applications on real biological data sets. Subsequently, the problem of reference bias, which restricts the applicability of those techniques, is addressed. Two methods that estimate the reference bias in Fourier and real space are demonstrated. The real space method, which we have named the “M-free” score, provides a reliable estimation of the reference bias, which gives access to the reliability of the template matching or sub-tomogram averaging process. Thus, the “M-free” score makes those approaches more applicable to structural biology. Furthermore, a classification algorithm based on Neural Networks (NN) called “KerDenSOM3D” is introduced, which is implemented in 3D and compensates for the missing-wedge. This approach helps extracting different structural states of macromolecular complexes or increasing the class purity of data sets by eliminating outliers. A comprehensive comparison with other classification methods shows superior performance of KerDenSOM3D.
Inhaltsverzeichnis 1. Einleitung …………………………………………………………………...3 1.1 Erklärungsversuche und Forschungsergebnisse der Gegenwart ……8 1.2 Zielrichtung und Abgrenzung der aktuellen Arbeit ………………..21 1.3 Intention und Erläuterung der Versuchsreihen ………………….....25 2. Grundlagen und Methodiken bezüglich des subjektiven visuellen Wahrnehmungsraums …………………………………………………........27 2.1 Die nativistische und die empiristische Anschauung ………………27 2.2 Räumliche Anordnungen der wahrgenommenen Objekte …………31 2.3 Über die visuell vermittelte Richtungs- und Lagebestimmung …....33 2.4 Visuelle Auswertungen der korrespondierenden Netzhautstellen …42 2.5 Visuelle Auswertungen der disparaten Netzhautstellen …………...44 2.6 Die Größenkonstanzleistung ………………………………………47 2.7 Psychophysikalische Grundlagen und Schwellenwerte …………...50 2.8 Physiologische Grundlagen ………………………………………..54 3. Experimentelle Untersuchung ……………………………………………..60 3.1 Versuchsaufbau und Ablauf zur Durchführung der Experimente …60 3.1.1 Zusammensetzungen der Versuchsteilnehmer ……………66 3.1.2 Erläuterungen und Ablauf der 2 Versuchsreihen …………66 3.2 Graphische Darstellungen der Messergebnisse ……………………71 3.2.1 I.Versuchsreihe ……………………………………………71 3.2.2 II.Versuchsreihe …………………………………………...93 3.3 Auswertung und Aufbereitung der Messdaten …………………..102 3.3.1 Auswertungen der I.Versuchsreihe ……………………..102 3.3.2 Auswertungen der II.Versuchsreihe …………………….120 3.3.3 Fehlerbetrachtungen der Versuchsreihen I und II ………122 3.4 Diskussion der Messdaten ……………………………………….124 4. Zusammenfassung und Ausblick ………………………………………...135 Begriffsverzeichnis mit kurzer Erklärung.…………………………………...137 Literaturverzeichnis …………………………………………………….........141 Bildquellenverzeichnis ………………………………………………….......143 Als Fazit kann man folgendes zusammenfassend sagen: Die aufgestellte Arbeitshypothese wurde durch die beiden Versuchsreihen verifiziert, denn die Ergebnisse ergaben folgendes: - In den Messreihen der Versuchsreihe I ist jeweils ein Anstieg der eingestellten Größe, je mehr Abstandsinformationen zugelassen wurden, zu verzeichnen. Das bedeutet, der Anstieg wurde umso größer, desto größer die AID wurde. Auch waren in allen Messreihen die monokularen Größeneinstellungen, bei sonst konstanter AID, gegenüber der binokularen Größeneinstellung geringer. Bei Verringerung der Einstellentfernung wurden die Abweichungen zwischen den subjektiven und den objektiven Größen ebenfalls größer. Das heißt also, die subjektive visuelle Wahrnehmungsgröße ist von der AID wie folgt abhängig: Das visuelle System bewertet subjektiv die Wahrnehmungsgröße bei maximaler AID nach oben und relativ dazu, bei minimaler AID nach unten. - Dass die aufgestellten Parameter die AID bedingen, konnte durch die 1. Messreihe gezeigt werden, da der jeweilige Anstieg der eingestellten Größe, nur durch die Variation eines Parameters erfolgte. Die Querdisparation konnte aber hier nicht als Parameter der die AID bedingt isoliert untersucht werden. Bei den meisten Probanden ergaben sich sehr schnell Doppelbilder und erzeugten bei ihnen ein Unbehagen. Aber dennoch floss dieser Parameter als einflussnehmende Größe in den Konvergenzgrad mit ein. Das Netzhautbild konnte nur kombiniert mit dem psychologischen Gefühl der Nähe isoliert betrachtet werden. Damit die Voraussetzungen in beiden Versuchen gleich waren, wurde in der Versuchsreihe II unter gleichen Versuchsbedingungen wie in der Versuchsreihe I gemessen. Auch hier wurden die Abstandsinformationen von minimal bis maximal sukzessive zugelassen. Durch die Messdaten der Versuchsreihe II konnte eindeutig gezeigt werden, dass die Abstandsunterschiedsschwelle umso geringer ausfällt, desto mehr Abstandskriterien hinzukamen, also die AID erhöht wurde. Analog kehren sich die Verhältnisse um, wenn die AID erniedrigt wird. Durch diesen kausalen Zusammenhang zwischen der Abstandsunterschiedsschwelle des visuellen Systems und der Güte der AID bestätigt sich zusätzlich die Annahme, dass die eingeführten Parameter des Abstandes tatsächlich als solche zu betrachten sind und die AID konstituieren. Denn wären sie keine Konstituenten der AID, so müssten die Unterschiedsschwellen der Versuchsreihe II in etwa gleich sein. Da aber die Änderung der Randbedingungen sich auf die verwertbaren Abstandsinformationen bezogen und somit die AID jeweils geändert wurde, ist die aufgestellte Annahme über die Parameter, welche die AID bedingen, berechtigt. - Dass im orthostereoskopischen Bereich die subjektiven Größeneinstellungen gegenüber der Zentralprojektion am weitesten auseinander liegen, bestätigte sich durch alle Messreihen der Versuchsreihe I. In diesem Bereich existiert die maximale Unabhängigkeit der visuellen Wahrnehmungsgröße vom Gesichtswinkel. In diesem Bereich liegt eine sehr hohe Güte in der Größenkonstanzleistung des visuellen Systems vor. Dass die Größenkonstanz qualitativ dem aufgestellten Formalismus aus Annahme 2 genügt und die aufgestellte qualitative Relation sie beschreibt, konnte nicht gezeigt werden. Das begründet sich durch das Zustandekommen der Größenkonstanz. Sie resultiert bekanntlich aus einer Entfernungsänderung. Je nach dem, ob sich ein Objekt dem Beobachter nähert oder entfernt, setzt diese Bildgrößenkompensation ein. Von daher unterliegt sie einem dynamischen Prozess und kann dadurch mit Relation (2´) nicht beschreiben werden. - Mit der Relation 2´ kann man qualitativ die Unbestimmtheit in der visuellen Wahrnehmungsentfernung beschreiben und qualitativ erklären. Der Aspekt der Abstandsunterschiedsschwelle ist etwas verwirrend. Auf der einen Seite handelt es sich um eine Vermögensleistung des visuellen Systems, welches abhängig ist von den vorliegenden Abstandsinformationen, die ihrerseits die AID bedingen. Auf der anderen Seite bedingt die Abstandsunterschiedsschwelle die AID durch ihre Güte und Qualität, beeinflusst also umgekehrt auch die AID. In der Versuchsreihe 2 wurde auf die Vermögensleistung des visuellen Systems und deren Abhängigkeit von den Parametern eingegangen, die auch die AID bedingen. Dies diente dazu, zusätzlich zu zeigen, dass es sich bei diesen Parametern um Parameter handelt, welche die AID bedingen. Die Argumentationskette lautete wie folgt: Die Abstandsunterschiedsschwelle beeinflusst die AID. Die betrachteten Parameter beeinflussten die Abstandsunterschiedsschwelle, dass experimentell verifiziert wurde. Daraus folgte dann, dass eben diese Parameter auch die AID bedingen. Diese Argumentation diente nur als zusätzliches Hilfsmittel. Bei Punkt 4 sollte die Abstandsunterschiedsschwelle und ihr Einfluss auf die Unbestimmtheit hin betrachtet werden. Dies hat aber nur sekundäre Relevanz, da hier die Anwendung der Relation 2´ im Vordergrund stand. - Ob die Fitting-Funktion, welche die Messdaten der Versuchsreihe I approximierte, sich als Algorithmus für die Darstellung einer Bewegungssimulation eignet, kann noch nicht gesagt werden. Es müssen noch Untersuchungen umgesetzt werden, welche die Diagonalbewegung beschreiben. In der stirnfrontalen Vor- und Zurückbewegung ist der simulierte Bewegungsablauf mit der Fitting-Funktion gegenüber der linearen Darstellung realistischer. Dies ist in der ersten 100cm Raumtiefe besonders merklich, da die Fitting-Funktion die Größenkonstanzleistung des visuellen Systems berücksichtigt. Die auf dem konventionellen Computerspielmarkt eingesetzten Algorithmen für die Darstellung von Vor- und Zurückbewegungen sind dagegen nahezu linear, welches dem Beobachter einen etwas unnatürlichen Seheindruck vermittelt. Die Fitting-Funktion könnte auch für die Simulation von Zeichentrickfilmen verwendet werden. Auch dort wird die Größenkonstanzleistung des visuellen Systems nicht berücksichtigt. Aber gerade diese Konstanzleistung gestaltet die Größenvariation der wahrgenommenen Objekte bei Entfernungsänderungen. Dies ist besonders im orthostereoskopischen Bereich merklich.
Microstates sind kurzzeitig andauernde, wiederkehrende elektrische Potentialfelder über dem Kortex. Ein Großteil der Signalvarianz des
Elektroenzephalogramms (EEG) wird durch vier repräsentative räumliche Potentialverteilungen (Topographien) abgedeckt, welche bereits im Wachzustand und im Schlaf identifiziert wurden und kanonisch als Karten A-D bezeichnet werden. Microstates wurden in den vergangenen Jahren vor allem im Ruhe-Wach-EEG untersucht, über andere Vigilanzzustände hingegen wissen wir bisher wenig. Klassischerweise analysieren wir verschiedene Vigilanzzustände im Elektroenzephalogramm anhand von Frequenzen und Graphoelementen, die Microstate-Analyse hingegen betrachtet in erster Linie die räumliche Verteilung des kortikalen Potentials zu einem jeweiligen Zeitpunkt.
Die vorliegende Studie hatte zum Ziel, die zeitliche Abfolge von Microstates im Wachzustand und im Schlaf zu charakterisieren. Mittels informationstheoretischer Ansätze können die dynamischen Eigenschaften der Microstate-Sequenz direkt mit den frequenzbasierten Eigenschaften des zugrundeliegenden EEG verglichen werden. Es wurden die Ruhe-Wach- und Schlafdaten von 32 gesunden Probanden analysiert. Hierbei fand sich eine Zunahme der mittleren Microstate-Dauer und der Relaxationszeit der Übergangsmatrix, was langsamere Dynamiken im Schlaf anzeigt. Erstaunlicherweise konnte im Tiefschlaf mehr als die Hälfte der Sequenzen nicht von einem simplen Markov-Modell unterschieden werden, was für eine Abnahme der Komplexität der Microstate-Sequenzen spricht. Die Entropierate der untersuchten Sequenzen nahm mit zunehmender Schlaftiefe ab, was weniger
Zufall bzw. eine größere Vorhersagbarkeit innerhalb der Sequenzen bedeutet.
Darüberhinaus konnte gezeigt werden, dass Microstates immer dann periodisch auftreten, wenn das zugrundeliegende EEG eine dominante Grundfrequenz aufweist, sodass oszillatorische Hirnaktivität auch auf der Microstate-Ebene verfolgbar ist. Hierdurch ist es möglich, physiologische Vigilanzzustände quantitativ voneinander zu unterscheiden.
Interpretiert man Microstates als Korrelate neuronaler Netzwerke, scheinen im Schlaf dieselben oder ähnliche Netzwerke aktiviert zu werden wie im Wachzustand, allerdings mit zunehmender Schlaftiefe langsamer und auf eine weniger komplexe Art und Weise.
This thesis will first introduce in more detail the Bayesian theory and its use in integrating multiple information sources. I will briefly talk about models and their relation to the dynamics of an environment, and how to combine multiple alternative models. Following that I will discuss the experimental findings on multisensory integration in humans and animals. I start with psychophysical results on various forms of tasks and setups, that show that the brain uses and combines information from multiple cues. Specifically, the discussion will focus on the finding that humans integrate this information in a way that is close to the theoretical optimal performance. Special emphasis will be put on results about the developmental aspects of cue integration, highlighting experiments that could show that children do not perform similar to the Bayesian predictions. This section also includes a short summary of experiments on how subjects handle multiple alternative environmental dynamics. I will also talk about neurobiological findings of cells receiving input from multiple receptors both in dedicated brain areas but also primary sensory areas. I will proceed with an overview of existing theories and computational models of multisensory integration. This will be followed by a discussion on reinforcement learning (RL). First I will talk about the original theory including the two different main approaches model-free and model-based reinforcement learning. The important variables will be introduced as well as different algorithmic implementations. Secondly, a short review on the mapping of those theories onto brain and behaviour will be given. I mention the most in uential papers that showed correlations between the activity in certain brain regions with RL variables, most prominently between dopaminergic neurons and temporal difference errors. I will try to motivate, why I think that this theory can help to explain the development of near-optimal cue integration in humans. The next main chapter will introduce our model that learns to solve the task of audio-visual orienting. Many of the results in this section have been published in [Weisswange et al. 2009b,Weisswange et al. 2011]. The model agent starts without any knowledge of the environment and acts based on predictions of rewards, which will be adapted according to the reward signaling the quality of the performed action. I will show that after training this model performs similarly to the prediction of a Bayesian observer. The model can also deal with more complex environments in which it has to deal with multiple possible underlying generating models (perform causal inference). In these experiments I use di#erent formulations of Bayesian observers for comparison with our model, and find that it is most similar to the fully optimal observer doing model averaging. Additional experiments using various alterations to the environment show the ability of the model to react to changes in the input statistics without explicitly representing probability distributions. I will close the chapter with a discussion on the benefits and shortcomings of the model. The thesis continues whith a report on an application of the learning algorithm introduced before to two real world cue integration tasks on a robotic head. For these tasks our system outperforms a commonly used approximation to Bayesian inference, reliability weighted averaging. The approximation is handy because of its computational simplicity, because it relies on certain assumptions that are usually controlled for in a laboratory setting, but these are often not true for real world data. This chapter is based on the paper [Karaoguz et al. 2011]. Our second modeling approach tries to address the neuronal substrates of the learning process for cue integration. I again use a reward based training scheme, but this time implemented as a modulation of synaptic plasticity mechanisms in a recurrent network of binary threshold neurons. I start the chapter with an additional introduction section to discuss recurrent networks and especially the various forms of neuronal plasticity that I will use in the model. The performance on a task similar to that of chapter 3 will be presented together with an analysis of the in uence of different plasticity mechanisms on it. Again benefits and shortcomings and the general potential of the method will be discussed. I will close the thesis with a general conclusion and some ideas about possible future work.
In our daily life, we carry out lots of tasks like typing, playing tennis, and playing the piano, without even noticing there is sequence learning involved. No matter how simple or complex they are, these tasks require the sequential planning and execution of a series of movements. As an ability of primary importance in one’s life, and an ability that everyone manages to learn, action-sequence learning has been studied by researchers from different fields: psychologists, neurophysiologists as well as roboticists. In the concept of sequence learning, perceptual learning and motor learning, implicit and explicit learning have been studied and discussed independently.
We are interested in infancy research, because infants, with underdeveloped brain functions and with limited motor ability, have little experience with the world and not yet built internal models as presumption of how to interpret the world. A series of infant experiments in the 1980s provided evidence that infants can rapidly develop anticipatory eye movements for visual events. Even when infants have no control of those spatial-temporal patterns, they can respond actually prior to the onset of the visual event, referred as "Anticipation".
In this work, we applied a gaze-contingent paradigm using real-time eye tracking to put 6- and 8-month-old infants in direct control of their visual surroundings. This paradigm allows the infant to change an image on a screen by looking at a peripheral red disc, which functions as a switch. We found that infants quickly learn to perform eye movements to trigger the appearance of new stimuli and that they anticipate the consequences of their actions in an early stage of the experiment.
Attention-shift from learning one stimulus to the next novel stimulus is important in sequence learning. In the test phase of infant visual habituation with two objects, we propose a new theory of explaining the familiarity-to-novelty shift. In our opinion an infant’s interest in a stimulus is related to its learning progress, the improvement of performance. As a consequence, infants prefer the stimulus which their current learning progress is maximal for, naturally giving rise to a familiarity-to-novelty shift in certain situations. Our network model predicts that the familiarity-to-novelty-shift only emerges for complex stimuli that produce bell-shaped learning curves after brief familiarization, but does not emerge for simple stimuli that produce exponentially decreasing learning curves or for long familiarization time, which is consistent with experimental results. This research suggests the infant's interest in a stimulus may be related to its current learning progress. This can give rise to a dynamic familiarity-to-novelty shift depending on both the infant's learning efficiency and the task complexity.
We know that for both infants and adults, the performance on certain motor-sequence tasks can be improved through practice. However, adults usually have to perform complex tasks in complicated environments; for example, learning multiple tasks is unavoidable in our daily life. In existing research, learning multiple tasks showed puzzling and seemingly contradictory results. On the one hand, a wide variety of proactive and retroactive interference effects have been observed when multiple tasks have to be learned. On the other hand, some studies have reported facilitation and transfer of learning between different tasks.
In order to find out the interaction between multiple-task learning, and to find an optimal training schedule, we use a recurrent neural network to model a series of experiments on movement sequence learning. The network model learns to carry out the correct movement sequences through training and reproduces differences between training schedules such as blocked training vs. random training in psychophysics experiments. The network model also shows striking similarity to human performance, and makes prediction for tasks similarity and different training schedules.
In conclusion, the thesis presents learning sequences of actions in infants and recurrent neural networks. We carried out a gaze-contingent experiment to study infants’ rapid anticipation of their own action outcomes, and we also constructed two recurrent neural network models, with one model explaining infant attention shift in visual habituation, and the other model directing to task similarity and training schedule in motor sequence control in adults.
The nature of spontaneous brain activity during wakefulness and sleep: a complex systems approach
(2014)
In this thesis we study the organization of spontaneous brain activity during wakefulness and all stages of human non-rapid eye movement sleep using an approach based on developments and tools from the theory of complex systems. After a brief introduction to sleep physiology and different theoretical models of consciousness, we study how the organization of cortical and sub-cortical interactions is modified during the sleep cycle. Our results, obtained by modeling global brain activity as a complex functional interaction network, show that the capacity of the human brain to integrate different segregated functional modules is diminished during deep sleep, in line with an informationintegration account of consciousness. We then show that integration is impaired not only across space but also in the temporal domain, by assesing the emergence of long-range temporal correlations in brain activity and how they are modified during sleep. We propose an encompassing explanation for this observation, namely, that the brain operatsat different dynamical regimes during different states of consciousness. Finally, we gather massive amounts of data from different collaborative projects and apply machine learning techniques to reveal that the \resting state" cannot be considered as a pure brain state and is in fact a mixture containing different levels of conscious awareness. This last result has deep implications for future attempts to develop a discovery science of brain function both in health and disease.
Die vorgelegte Dissertation behandelt den Einfluss homöostatischer Adaption auf die Informationsverarbeitung und Lenrprozesse in neuronalen Systemen. Der Begriff Homöostase bezeichnet die Fähigkeit eines dynamischen Systems, bestimmte interne Variablen durch Regelmechanismen in einem dynamischen Gleichgewicht zu halten. Ein klassisches Beispiel neuronaler Homöostase ist die dynamische Skalierung synaptischer Gewichte, wodurch die Aktivität bzw. Feuerrate einzelner Neuronen im zeitlichen Mittel konstant bleibt. Bei den von uns betrachteten Modellen handelt es sich um eine duale Form der neuronalen Homöostase. Das bedeutet, dass für jedes Neuron zwei interne Parameter an eine intrinsische Variable wie die bereits erwähnte mittlere Aktivität oder das Membranpotential gekoppelt werden. Eine Besonderheit dieser dualen Adaption ist die Tatsache, dass dadurch nicht nur das zeitliche Mittel einer dynamischen Variable, sondern auch die zeitliche Varianz, also die stärke der Fluktuation um den Mittelwert, kontrolliert werden kann. In dieser Arbeit werden zwei neuronale Systeme betrachtet, in der dieser Aspekt zum Tragen kommt.
Das erste behandelte System ist ein sogennantes Echo State Netzwerk, welches unter die Kategorie der rekurrenten Netzwerke fällt. Rekurrente neuronale Netzwerke haben im Allgemeinen die Eigenschaft, dass eine Population von Neuronen synaptische Verbindungen besitzt, die auf die Population selbst projizieren, also rückkoppeln. Rekurrente Netzwerke können somit als autonome (falls keinerlei zusätzliche externe synaptische Verbindungen existieren) oder nicht-autonome dynamische Systeme betrachtet werden, die durch die genannte Rückkopplung komplexe dynamische Eigenschaften besitzen. Abhängig von der Struktur der rekurrenten synaptischen Verbindungen kann beispielsweise Information aus externem Input über einen längeren Zeitraum gespeichert werden. Ebenso können dynamische Fixpunkte oder auch periodische bzw. chaotische Aktivitätsmuster entstehen. Diese dynamische Vielseitigkeit findet sich auch in den im Gehirn omnipräsenten rekurrenten Netzwerken und dient hier z.B. der Verarbeitung sensorischer Information oder der Ausführung von motorischen Bewegungsmustern. Das von uns betrachtete Echo State Netzwerk zeichnet sich dadurch aus, dass rekurrente synaptische Verbindungen zufällig generiert werden und keiner synaptischen Plastizität unterliegen. Verändert werden im Zuge eines Lernprozesses nur Verbindungen, die von diesem sogenannten dynamischen Reservoir auf Output-Neuronen projizieren. Trotz der Tatsache, dass dies den Lernvorgang stark vereinfacht, ist die Fähigkeit des Reservoirs zur Verarbeitung zeitabhängiger Inputs stark von der statistischen Verteilung abhängig, die für die Generierung der rekurrenten Verbindungen verwendet wird. Insbesondere die Varianz bzw. die Skalierung der Gewichte ist hierbei von großer Bedeutung. Ein Maß für diese Skalierung ist der Spektralradius der rekurrenten Gewichtsmatrix.
In vorangegangenen theoretischen Arbeiten wurde gezeigt, dass für das betrachtete System ein Spektralradius nahe unterhalb des kritischen Wertes von 1 zu einer guten Performance führt. Oberhalb dieses Wertes kommt es im autonomen Fall zu chaotischem dynamischen Verhalten, welches sich negativ auf die Informationsverarbeitung auswirkt. Der von uns eingeführte und als Flow Control bezeichnete duale Adaptionsmechanismus zielt nun darauf ab, über eine Skalierung der synaptischen Gewichte den Spektralradius auf den gewünschten Zielwert zu regulieren. Essentiell ist hierbei, dass die verwendete Adaptionsdynamik im Sinne der biologischen Plausibilität nur auf lokale Größen zurückgreift. Dies geschieht im Falle von Flow Control über eine Regulation der im Membranpotential der Zelle auftretenden Fluktuationen. Bei der Evaluierung der Effektivität von Flow Control zeigte sich, dass der Spektralradius sehr präzise kontrolliert werden kann, falls die Aktivitäten der Neuronen in der rekurrenten Population nur schwach korreliert sind. Korrelationen können beispielsweise durch einen zwischen den Neuronen stark synchronisierten externen Input induziert werden, der sich dementsprechend negativ auf die Präzision des Adaptionsmechanismus auswirkt.
Beim Testen des Netzwerks in einem Lernszenario wirkte sich dieser Effekt aber nicht negativ auf die Performance aus: Die optimale Performance wurde unabhängig von der stärke des korrelierten Inputs für einen Spektralradius erreicht, der leicht unter dem kritischen Wert von 1 lag. Dies führt uns zu der Schlussfolgerung, dass Flow Control unabhängig von der Stärke der externen Stimulation in der Lage ist, rekurrente Netze in einen für die Informationsverarbeitung optimalen Arbeitsbereich einzuregeln.
Bei dem zweiten betrachteten Modell handelt es sich um ein Neuronenmodell mit zwei Kompartimenten, welche der spezifischen Anatomie von Pyramidenneuronen im Kortex nachempfunden ist. Während ein basales Kompartiment synaptischen Input zusammenfasst, der in Dendriten nahe des Zellkerns auftritt, repräsentiert das zweite apikale Kompartiment die im Kortex anzutreffende komplexe dendritische Baumstruktur. In früheren Experimenten konnte gezeigt werden, dass eine zeitlich korrelierte Stimulation sowohl im basalen als auch apikalen Kompartiment eine deutlich höhere neuronale Aktivität hervorrufen kann als durch Stimulation nur einer der beiden Kompartimente möglich ist. In unserem Modell können wir zeigen, dass dieser Effekt der Koinzidenz-Detektion es erlaubt, den Input im apikalen Kompartiment als Lernsignal für synaptische Plastizität im basalen Kompartiment zu nutzen. Duale Homöostase kommt auch hier zum Tragen, da diese in beiden Kompartimenten sicherstellt, dass sich der synaptische Input hinsichtlich des zeitlichen Mittels und der Varianz in einem für den Lernprozess benötigten Bereich befindet. Anhand eines Lernszenarios, das aus einer linearen binären Klassifikation besteht, können wir zeigen, dass sich das beschriebene Framework für biologisch plausibles überwachtes Lernen eignet.
Die beiden betrachteten Modelle zeigen beispielhaft die Relevanz dualer Homöostase im Hinblick auf zwei Aspekte. Das ist zum einen die Regulation rekurrenter neuronaler Netze in einen dynamischen Zustand, der für Informationsverarbeitung optimal ist. Der Effekt der Adaption zeigt sich hier also im Verhalten des Netzwerks als Ganzes. Zum anderen kann duale Homöostase, wie im zweiten Modell gezeigt, auch für Plastizitäts- und Lernprozesse auf der Ebene einzelner Neuronen von Bedeutung sein. Während neuronale Homöostase im klassischen Sinn darauf beschränkt ist, Teile des Systems möglichst präzise auf einen gewünschten Mittelwert zu regulieren, konnten wir Anhand der diskutierten Modelle also darlegen, dass eine Kontrolle des Ausmaßes von Fluktuationen ebenfalls Einfluss auf die Funktionalität neuronaler Systeme haben kann.
Plasticity supports the remarkable adaptability and robustness of cortical processing. It allows the brain to learn and remember patterns in the sensory world, to refine motor control, to predict and obtain reward, or to recover function after injury. Behind this great flexibility hide a range of plasticity mechanisms, affecting different aspects of neuronal communication. However, little is known about the precise computational roles of some of these mechanisms. Here, we show that the interaction between spike-timing dependent plasticity (STDP), intrinsic plasticity and synaptic scaling enables neurons to learn efficient representations of their inputs. In the context of reward-dependent learning, the same mechanisms allow a neural network to solve a working memory task. Moreover, although we make no any apriori assumptions on the encoding used for representing inputs, the network activity resembles that of brain regions known to be associated with working memory, suggesting that reward-dependent learning may be a central force in working memory development. Lastly, we investigated some of the clinical implications of synaptic scaling and showed that, paradoxically, there are situations in which the very mechanisms that normally are required to preserve the balance of the system, may act as a destabilizing factor and lead to seizures. Our model offers a novel explanation for the increased incidence of seizures following chronic inflammation.
Neurons are cells with a highly complex morphology; their dendritic arbor spans up to thousands of micrometers. This extended arbor poses a challenge for the logistics of neuronal processes: mRNA, proteins, and organelles have to be transported to dendrites, hundreds of micrometers away from the soma. This thesis aims to calculate the minimum number of proteins needed to populate the dendritic trees for different scenarios.
In chapter 2, I analyzed the ability of different mechanisms to populate the dendritic arbor. I started from the solution of the diffusion equation in Sec. 2.1, then I included the contribution of active transport in Sec. 2.2 and showed how it could have either the effect of increasing the effective diffusion coefficient or of introducing a bias in the diffusion process. In Sec. 2.3 I studied the spatial distribution of locally synthesized protein, accordingly with actively and passively transported mRNA. In Sec. 2.5, I derived the boundary condition for branches showing a qualitatively different behavior of surface and cytoplasmic proteins induced by the medium’s dimensionality in which they diffuse.
In chapter 3, I introduced the concept of protein requirement, defined as the minimum number of proteins that the neuron needs to produce to provide at least one protein to each micrometer of the dendritic arbor. In Sec. 3.1, I derived the protein requirement for diffusive proteins for somatic translation and constant translation in the dendritic arbor. In Sec. 3.2, I analyzed numerically the protein requirement in the case of actively transported protein synthesized in the soma, and, in Sec. 3.3, in the case of actively transported proteins synthesized in the dendritic arbor. In Sec. 3.4, I analyzed the protein requirement of protein synthesized in the dendrite accordingly with the distribution of mRNA described in Sec. 3.3 and 3.2. In Sec. 3.5, I derived the protein requirement for a single branch and purely diffusive proteins.
In chapter 4, I analyzed the relation between the radii of the three afferent dendrites in a branch, their length, and the diffusion length of a protein. In Sec. 4.1 I derived the optimal ratio between the radii of the daughter dendrites that minimizes the protein requirement. In Sec. 4.3 I introduced the 3/2− Rall Rule and in Sec. 4.5 its generalization. Finally, I used those rules to estimate the fraction of proteins diffusing away from and toward the soma.
In chapter 5, I analyzed the radii distribution for three categories of neurons: cultured hippocampal neurons in Sec. 5.1, stomatogastric ganglia neuron in Sec. 5.2, and 3DEM reconstructed prefrontal pyramidal neurons in Sec. 5.3. For each of these three classes, I analyzed the distribution of radii, Rall exponents, and the probability ratio. For most of them, I found that the probability of a protein diffusing away from the soma is higher for surface proteins than for cytoplasmic ones. I quantified this with a parameter called surface bias.
In Chapter 6, I analyzed the fluorescent ratio imaged by our collaborators Anne-Sophie Hafner, for a surface protein, GFP::Nlg, and a soluble one, GFP, in cultured hippocampal neurons, and I compared the fluorescent ratio with the probability ratio obtained in 5.1, finding that they are in good agreement.
In chapter 7, I compared the real dendritic morphologies imaged by one of our collaborators Ali Karimi with the optimal branching rule obtained in Sec. 4.1 and I calculated the cost for not having optimal branching radii.
Finally, in Chapter 8, I used the knowledge of the branching statistics gathered in 5.3 to simulate the protein profile on three different classes of neurons: pyramidal neurons, granule neuron, and Purkinje neurons. I compared the protein profile for surface and cytoplasmic neurons for each morphology for two different values of the diffusion length: λ = 109µm and λ = 473µm, both for optimized radii and symmetrical radii. I showed how the radii optimization reduces the protein requirement of a factor 10 4 for pyramidal neurons.
Machine learning (ML) techniques have evolved rapidly in recent years and have shown impressive capabilities in feature extraction, pattern recognition, and causal inference. There has been an increasing attention to applying ML to medical applications, such as medical diagnosis, drug discovery, personalized medicine, and numerous other medical problems. ML-based methods have the advantage of processing vast amounts of data.
With an ever increasing amount of medical data collection and large, inter-subject variability in the medical data, automated data processing pipelines are very much desirable since it is laborious, expensive, and error-prone to rely solely on human processing. ML methods have the potential to uncover interesting patterns, unravel correlations between complex features, learn patient-specific representations, and make accurate predictions. Motivated by these promising aspects, in this thesis, I present studies where I have implemented deep neural networks for the early diagnosis of epilepsy based on electroencephalography (EEG) data and brain tumor detection based on magnetic resonance spectroscopy (MRS) data.
In the project for early diagnosis of epilepsy, we are dealing with one of the most common neurological disorders, epilepsy, which is characterized by recurrent unprovoked seizures. It can be triggered by a variety of initial brain injuries and manifests itself after a time window which is called the latent period. During this period, a cascade of structural and functional brain alterations takes place leading to an increased seizure susceptibility.
The development and extension of brain tissue capable of generating spontaneous seizures is defined as epileptogenesis (EPG).
Detecting the presence of EPG provides a precious opportunity for targeted early medical interventions and, thus, can slow down or even halt the disease progression. In order to study brain signals in this latent window, animal epilepsy models are used to provide valuable data as it is extremely difficult to obtain this data from human patients. The aim of this study is to discover biomarkers of EPG using animal models and then to find the equivalent and counterparts in human patients' data. However, the EEG features for EPG are not well-understood and there is not a sufficiently large amount of annotated data for ML-based algorithms. To approach this problem, firstly, I utilized the timestamp information of the recorded EEG from an animal epilepsy model where epilepsy is induced by an electrical stimulation. The timestamp serves as a form of weak supervision, i.e., before and after the stimulation. Secondly, I implemented a deep residual neural network and trained it with a binary classification task to distinguish the EEG signals from these two phases. After obtaining a high discriminative ability on the binary classification task, I proposed to divide further the time span after the stimulation for a three-class classification, aiming to detect possible stages of the progression of the latent EPG phase. I have shown that the model can distinguish EEG signals at different stages of EPG with high accuracy and generalization ability. I have also demonstrated that some of the learned features from the network are clinically relevant.
In the task of detecting brain tumors based on MRS data, I first proposed to apply a deep neural network on the MRS data collected from over 400 patients for a binary classification task. To combat the challenge of noisy labeling, I developed a distillation step to filter out relatively ``cleanly'' labeled samples. A mixing-based data augmentation method was also implemented to expand the size of the training set. All the experiments were designed to be conducted with a leave-patient-out scheme to ensure the generalization ability of the model. Averaged across all leave-patient-out cross-validation sets, the proposed method performed on par with human neuroradiologists, while outperforming other baseline methods. I have demonstrated the distillation effect on the MNIST data set with manually-introduced label noise as well as providing visualization of the input influences on the final classification through a class activation map method.
Moreover, I have proposed to aggregate information at the subject level, which could provide more information and insights. This is inspired by the concept of multiple instance learning, where instance-level labels are not required and which is more tolerant to noisy labeling. I have proposed to generate data bags consisting of instances from each patient and also proposed two modules to ensure permutation invariance, i.e., an attention module and a pooling module. I have compared the performance of the network in different cases, i.e., with and without permutation-invariant modules, with and without data augmentation, single-instance-based and multiple-instance-based learning and have shown that neural networks equipped with the proposed attention or pooling modules can outperform human experts.