Open Access

Dirk Hutter

• High-energy physics experiments aim to deepen our understanding of the fundamental structure of matter and the governing forces. One of the most challenging aspects of the design of new experiments is data management and event selection. The search for increasingly rare and intricate physics events asks for high-statistics measurements and sophisticated event analysis. With progressively complex event signatures, traditional hardware-based trigger systems reach the limits of realizable latency and complexity. The Compressed Baryonic Matter experiment (CBM) employs a novel approach for data readout and event selection to address these challenges. Self-triggered, free-streaming detectors push all data to a central compute cluster, called First-level Event Selector (FLES), for software-based event analysis and selection. While this concept solves many issues present in classical architectures, it also sets new challenges for the design of the detector readout systems and online event selection. This thesis presents an efficient solution to the data management challenges presented by self-triggered, free-streaming particle detectors. The FLES must receive asynchronously streamed data from a heterogeneous detector setup at rates of up to 1 TB/s. The real-time processing environment implies that all components have to deliver high performance and reliability to record as much valuable data as possible. The thesis introduces a time-based data model to partition the input streams into containers of fixed length in experiment time for efficient data management. These containers provide all necessary metadata to enable generic, detector-subsystem-agnostic data distribution across the entire cluster. An analysis shows that the introduced data overhead is well below 1 % for a wide range of system parameters. Furthermore, a concept and the implementation of a detector data input interface for the CBM FLES, optimized for resource-efficient data transport, are presented. The central element of the architecture is an FPGA-based PCIe extension card for the FLES entry nodes. The hardware designs developed in the thesis enable interfacing with a diverse set of detector systems. A custom, high-throughput DMA design structures data in a way that enables low-overhead access and efficient software processing. The ability to share the host DMA buffers with other devices, such as an InfiniBand HCA, allows for true zero-copy data distribution between the cluster nodes. The discussed FLES input interface is fully implemented and has already proven its reliability in production operation in various physics experiments.
• Experimente in der Hochenergiephysik tragen dazu bei, unser Verständnis der grundlegenden Struktur der Materie und der wirkenden Kräfte zu vertiefen. Zu den größten Herausforderungen bei der Entwicklung neuer Experimente gehört die Datenverarbeitung und Ereignisauswahl. Die Suche nach immer selteneren und komplexeren physikalischen Ereignissen erfordert Messungen mit hoher Statistik und anspruchsvolle Ereignisanalysen. Mit zunehmend komplexeren Ereignissignaturen stoßen traditionelle, hardwarebasierte Triggersysteme an die Grenzen bezüglich realisierbarer Latenz und Komplexität. Das Compressed Baryonic Matter Experiment (CBM) verfolgt einen neuartigen Ansatz für Datenauslese und Ereignisauswahl um diesen Herausforderungen zu begegnen. Selbstgetriggerte, asynchron sendende Detektoren schicken hier alle Daten zur rein softwarebasierten Ereignisanalyse und -auswahl an einen zentralen Rechencluster, den First-Level Event Selector (FLES). Während dieses Konzept viele in klassischen Architekturen auftretende Probleme löst, stellt es neue Herausforderungen an das Design der Datenauslesesystem und die Online-Ereignisauswahl. Diese Arbeit stellt eine effiziente Lösung für das Datenmanagement in Verbindung mit selbstgetriggerten, asynchron sendenden Teilchendetektoren vor. Der FLES muss asynchron eintreffende Daten von einem heterogenen Detektoraufbau mit Raten von bis zu 1 TB/s verarbeiten. Die Echtzeitumgebung eines Physikexperiments erfordert von allen Komponenten optimale Leistung und Zuverlässigkeit, um so viele wertvolle Daten wie möglich aufzeichnen zu können. Diese Arbeit führt ein zeitbasiertes Datenmodell ein, nach dem die Eingangsdatenströme in Container mit einer festen Länge in Experimentzeit aufgeteilt werden. Diese Container stellen alle notwendigen Informationen für die Datenverarbeitung bereit und erlauben so eine generische, vom Detektorsubsystem unabhängige Datenverteilung über den gesamten Cluster. Es wird gezeigt, dass der dafür notwendige Daten-Overhead für typische CBM-Systemparameter deutlich unter 1 % liegt. Darüber hinaus werden ein Konzept und die Implementierung einer für effizienten Datentransport optimierten Detektordateneingangsschnittstelle für den CBM FLES vorgestellt. Das zentrale Element der Schnittstelle ist eine FPGA-basierte PCIe-Erweiterungskarte für die FLES-Eingangsknoten. Die im Zuge dieser Arbeit entwickelten Hardwaredesigns ermöglichen die Anbindung an verschieden Detektorsysteme. Eine eigens entwickelte, hochdurchsatzfähige DMA-Einheit strukturiert die Daten so, dass Zugriffe mit geringem Overhead sowie eine effiziente Weiterverarbeitung in Software möglich sind. Die speziell entwickelte Unterstützung des gemeinsamen Zugriffs mehrere Geräte auf die DMA-Datenpuffer, z.B. durch die FPGA-Karte und einen InfiniBand HCA, ermöglicht eine echte Zero-Copy-Datenverarbeitung. Die hier vorgestellte FLES-Eingangsschnittstelle ist vollständig implementiert und hat ihre Zuverlässigkeit im Produktionsbetrieb bereits in verschiedenen Physikexperimenten unter Beweis gestellt.