Open Access

Jan Fabian Schmid

• This dissertation is concerned with the task of map-based self-localization, using images of the ground recorded with a downward-facing camera. In this context, map-based (self-)localization is the task of determining the position and orientation of a query image that is to be localized. The map used for this purpose consists of a set of reference images with known positions and orientations in a common coordinate system. For localization, the considered methods determine correspondences between features of the query image and those of the reference images. In comparison with localization approaches that use images of the surrounding environment, we expect that using images of the ground has the advantage that, unlike the surrounding, the visual appearance of the ground is often long-term stable. Also, by using active lighting of the ground, localization becomes independent of external lighting conditions. This dissertation includes content of several published contributions, which present research on the development and testing of methods for feature-based localization of ground images. Our first contribution examines methods for the extraction of image features that have not been designed to be used on ground images. This survey shows that, with appropriate parametrization, several of these methods are well suited for the task. Based on this insight, we develop and examine methods for various subtasks of map-based localization in the following contributions. We examine global localization, where all reference images have to be considered, as well as local localization, where an approximation of the query image position is already known, which allows for disregarding reference images with a large distance to this position. In our second contribution, we present the first systematic comparison of state-of-the-art methods for ground texture based localization. Furthermore, we present a method, which is characterized by its usage of our novel feature matching technique. This technique is called identity matching, as it matches only those features with identical descriptors, in contrast to the state-of-the-art that also matches features with similar descriptors. We show that our method is well suited for global and local localization, as it has favorable scaling with the number of reference images considered during the localization process. In another contribution, we develop a variant of our localization method that is significantly faster to compute, as it applies a sampling approach to determine the image positions at which local features are extracted, instead of using classical feature detectors. Two further contributions are concerned with global localization. The first one introduces a prediction model for the global localization performance, based on an evaluation of the local localization performance. This allows us to quickly evaluate any considered parameter settings of global localization methods. The second contribution introduces a learning-based method that computes compact descriptors of ground images. This descriptor can be used to retrieve the overlapping reference images of a query image from a large set of reference images with little computational effort. The most recent contribution included in this dissertation presents a new ground image database, which was recorded with a dedicated platform using a downward-facing camera. In addition to the data, we also explain our guidelines for the construction of the platform. In comparison with existing databases, our database contains more images and presents a larger variety of ground textures. Furthermore, this database enables us to perform the first systematic evaluation of how localization performance is affected by the time interval between the point in time at which the reference images are recorded and the point in time at which the query image is recorded. We find out that for outdoor areas all ground texture based localization methods have reliability issues, if the time interval between the recording of the query and reference images is large, and also if there are different weather conditions. These findings point to remaining challenges in ground texture base localization that should be addressed in future work.
• Diese Dissertation beschäftigt sich mit der Aufgabe der kartenbasierten Eigenlokalisierung anhand von Bodenbildern, die mit einer nach unten gerichteten Kamera aufgenommen werden. Als kartenbasierte (Eigen-)Lokalisierung bezeichnen wir die Bestimmung der Position und Orientierung eines zu lokalisierenden Bildes in einer Karte. Die dabei verwendete Karte wird aus Referenzbildern zusammengesetzt, deren Position und Orientierung zuvor bestimmt wurde. Für die Lokalisierungsaufgabe werden Methoden betrachtet, die Korrespondenzen zwischen Bildmerkmalen aus diesen Referenzbildern und einem zu lokalisierenden Bild identifizieren. Wir erwarten, dass ein Vorteil dieses Ansatzes gegenüber der Lokalisierung anhand von Bildern der Umgebung darin bestehen kann, dass das visuelle Erscheinungsbild des Bodens langfristig stabiler ist als das der Umgebung. Durch den Einsatz einer aktiven Beleuchtung des Bodens wird die Lokalisierung zudem unabhängig vom Umgebungslicht. In den in dieser Dissertation präsentierten Beiträgen werden neue Verfahren für die bildmerkmalsbasierte Lokalisierung von Bodenbildern entwickelt und getestet. Unser erster Beitrag untersucht Bildmerkmalsextraktionsmethoden, die ursprünglich nicht für Bodenbilder entwickelt wurden, auf ihre Eignung für die bodentexturbasierte Lokalisierung. Dabei zeigt sich, dass bei passender Parametrisierung einige dieser Methoden gut für die Aufgabe geeignet sind. Ausgehend von dieser Erkenntnis entwickeln und untersuchen wir in den darauf folgenden Beiträgen Verfahren für verschiedene Teilaufgaben der kartenbasierten Lokalisierung. Wir betrachten sowohl den Fall der globalen Lokalisierung, bei der alle Referenzbilder in Betracht gezogen werden müssen, sowie die lokale Lokalisierung bei der die aktuelle Position bereits ungefähr bekannt ist, sodass weit von dieser Position entfernte Referenzbilder bei der Lokalisierung nicht berücksichtigt werden müssen. In unserem zweiten Beitrag präsentieren wir einen systematischen Vergleich aktueller Methoden zur bodentexturbasierten Lokalisierung, und untersuchen dabei detailliert die Lokalisierungsleistung der Methoden für die globale und lokale Lokalisierung. Zudem stellen wir eine neue Lokalisierungsmethode vor, die sich insbesondere durch eine neue von uns eingeführte Technik zur Korrespondenzfindung zwischen den Bildmerkmalen auszeichnet. Dabei handelt es sich um den Identitätsabgleich, bei dem ausschließlich Merkmale mit identischen Merkmalsbeschreibungen als mögliche Korrespondenzen berücksichtigt werden. Dies steht im Kontrast zu üblichen Verfahren der Korrespondenzfindung, die auch ähnliche Deskriptoren berücksichtigen. Wir zeigen, dass unsere Methode gut für beide Lokalisierungsmodi geeignet ist, da sie vorteilhaft mit der Anzahl der berücksichtigten Referenzbilder skaliert. In einem weiteren Beitrag entwickeln wir eine Variante dieser Lokalisierungsmethode, die durch den Einsatz eines Stichprobenverfahrens anstatt eines klassischen Merkmalsdetektionsverfahrens deutlich weniger Rechenaufwand verursacht. In zwei weiteren Beiträgen stellen wir Verfahren für die globale Lokalisierung vor. Zum Einen entwickeln wir eine modellbasierte Vorhersage, welche auf Grundlage einer Evaluation der lokalen Lokalisierungsleistung einer Methode, dessen Erfolgsrate bei der globalen Lokalisierung prädiziert. Diese Vorhersage nutzen wir zur schnelleren Auswertung möglicher Parametrisierungen von globalen Lokalisierungsmethoden. Zum Zweiten entwickeln wir ein neues Verfahren des maschinellen Lernens für die Beschreibung von Bodenbildern anhand eines kompakten Deskriptors. Dieser Deskriptor kann dafür genutzt werden, die überlappenden Referenzbilder eines zu lokalisierenden Bildes mit geringem Rechenaufwand aus einer großen Menge Referenzbilder herauszusuchen. Der chronologisch letzte Beitrag, der in diese Dissertation aufgenommen wurde, präsentiert eine neue Datenbasis von Bodenbildern. Diese wurde mit einer eigens dafür aufgebauten Aufnahmeplattform mit nach-unten-gerichteter Kamera aufgenommen. Die Leitlinien für den Aufbau dieser Plattform präsentieren wir ebenfalls. Unsere Datenbasis enthält im Vergleich zu vorhandenen Datenbasen deutlich mehr Bilder und bietet eine größere Anzahl verschiedener Bodentexturen. Außerdem können wir mit dieser Datenbasis erstmals systematisch untersuchen, wie die Lokalisierungsleistung von der Zeitspanne zwischen dem Zeitpunkt der Kartierung des Anwendungsbereichs und der Aufnahme des zu lokalisierenden Bildes abhängt. Hier zeigt sich, dass große Zeitspannen eine Herausforderung für alle aktuellen Lokalisierungsmethoden sind, wenn die Bilder in Außenbereichen aufgenommen wurden. Ebenfalls erweist sich die Korrespondenzfindung als schwierig, wenn Karte und Lokalisierungsbild bei unterschiedlichen Wetterbedingungen aufgenommen worden sind. Diese Erkenntnisse weisen auf verbleibende Probleme im Bereich der bodentexturbasierten Lokalisierung hin, die in Zukunft untersucht werden sollten.