Open Access

Alen Smajić

• AI-based computer vision systems play a crucial role in the environment perception for autonomous driving. Although the development of self-driving systems has been pursued for multiple decades, it is only recently that breakthroughs in Deep Neural Networks (DNNs) have led to their widespread application in perception pipelines, which are getting more and more sophisticated. However, with this rising trend comes the need for a systematic safety analysis to evaluate the DNN's behavior in difficult scenarios as well as to identify the various factors that cause misbehavior in such systems. This work aims to deliver a crucial contribution to the lacking literature on the systematic analysis of Performance Limiting Factors (PLFs) for DNNs by investigating the task of pedestrian detection in urban traffic from a monocular camera mounted on an autonomous vehicle. To investigate the common factors that lead to DNN misbehavior, six commonly used state-of-the-art object detection architectures and three detection tasks are studied using a new large-scale synthetic dataset and a smaller real-world dataset for pedestrian detection. The systematic analysis includes 17 factors from the literature and four novel factors that are introduced as part of this work. Each of the 21 factors is assessed based on its influence on the detection performance and whether it can be considered a Performance Limiting Factor (PLF). In order to support the evaluation of the detection performance, a novel and task-oriented Pedestrian Detection Safety Metric (PDSM) is introduced, which is specifically designed to aid in the identification of individual factors that contribute to DNN failure. This work further introduces a training approach for F1-Score maximization whose purpose is to ensure that the DNNs are assessed at their highest performance. Moreover, a new occlusion estimation model is introduced to replace the missing pedestrian occlusion annotations in the real-world dataset. Based on a qualitative analysis of the correlation graphs that visualize the correlation between the PLFs and the detection performance, this study identified 16 of the initial 21 factors as being PLFs for DNNs out of which the entropy, the occlusion ratio, the boundary edge strength, and the bounding box aspect ratio turned out to be most severely affecting the detection performance. The findings of this study highlight some of the most serious shortcomings of current DNNs and pave the way for future research to address these issues.
• KI-basierte Computer-Vision-Systeme spielen eine entscheidende Rolle bei der Umgebungswahrnehmung für das autonome Fahren. Obwohl die Entwicklung selbstfahrender Systeme bereits seit mehreren Jahrzehnten vorangetrieben wird, konnten erst in jüngster Zeit bahnbrechende Durchbrüche in künstlichen neuronalen Netzen (KNN) dazu führen, dass Umgebungswahrnehmungssysteme immer ausgereifter wurden. Mit diesem Aufwärtstrend besteht jedoch ein Bedarf an einer systematischen Sicherheitsanalyse, um das Verhalten von KNN in schwierigen Szenarien zu bewerten und um die verschiedenen Faktoren zu identifizieren, die ein Fehlverhalten solcher Systeme verursachen. Diese Arbeit zielt darauf ab, einen entscheidenden Beitrag zur fehlenden Literatur über die systematische Analyse verschiedener leistungseinschränkender Faktoren (LF) für KNN zu liefern, indem die Aufgabe der Fußgängererkennung im Stadtverkehr von einer monokularen Kamera, die auf einem autonomen Fahrzeug montiert ist, untersucht wird. Um die gemeinsamen Faktoren, die zu einem Fehlverhalten führen, zu untersuchen, werden 6 häufig verwendete moderne Objekterkennungsarchitekturen sowie 3 verschiedene Erkennungsaufgaben analysiert, unter der Verwendung eines großen synthetischen Datensatzes und eines kleineren realen Datensatzes zur Fußgängererkennung. Die systematische Analyse umfasst 17 Faktoren aus der Literatur und 4 neue Faktoren, die als Teil dieser Arbeit eingeführt werden. Jeder der 21 Faktoren wird auf der Grundlage seines Einflusses auf die Erkennungsleistung bewertet und ob er als ein LF angesehen werden kann. Zur Unterstützung der Bewertung der Erkennungsleistung wird eine neuartige und aufgabenorientierte Fußgängererkennungs-Sicherheitsmetrik eingeführt, die speziell für die Identifizierung der einzelnen Faktoren entwickelt wurde, die zum Ausfall von KNN beitragen. Darüber hinaus wird in dieser Arbeit ein Trainingsansatz zur F1-Score Maximierung vorgestellt, welcher sicherstellen soll, dass die KNN mit ihrer maximalen Erkennungsleistung analysiert werden. Außerdem wird ein neueartiges Modell zur Verdeckungsschätzung eingeführt, um die fehlenden Fußgängerverdeckungsangaben für den realen Datensatz zu generieren. Auf der Grundlage einer qualitativen Analyse der Korrelationsgraphen, welche die Korrelation zwischen den LF und der Erkennungsleistung visualisieren, wurden in dieser Studie 16 der ursprünglich 21 Faktoren als LF für KNN identifiziert, von denen sich die Entropie, das Verdeckungsverhältnis, die Grenzkantenstärke und das Seitenverhältnis der Bounding Box als die Faktoren herausstellten, die die Erkennungsleistung am stärksten beeinflussen. Die Ergebnisse dieser Studie heben einige der wichtigsten Einschränkungen der derzeitigen KNN hervor und ebnen den Weg für künftige Forschungen zur Lösung dieser Probleme.