Open Access

Frank Nagl

• Das Ziel dieser Arbeit ist es, eine authentische Verdeckung eingebetteter virtueller 3D-Objekte in augmentierten Bilderwelten bei einer geringen Anzahl an Fotos innerhalb der Bilderwelt zu erreichen. Für die Verdeckung von realen und virtuellen Anteilen einer Augmented Reality-Szene sind Tiefeninformationen notwendig. Diese stammen üblicherweise aus einer 3D-Rekonstruktion, für deren Erstellung sehr viele Eingangsbilder notwendig sind. Im Gegensatz dazu wurde in dieser Arbeit ein System entwickelt, das eine vollständige 3D-Rekonstruktion umgeht. Dieses beruht auf einem direkten bildbasierten Rendering-Ansatz, welcher auch mit unvollständigen Tiefeninformationen eine hohe Bildqualität in Bezug auf eine authentische Verdeckung erreicht. Daraus erschließen sich neue Anwendungsgebiete, wie z.B. die automatisierte Visualisierung von 3D-Planungsdaten und 3D-Produktpräsentationen in Bildern bzw. Bilderwelten, da in diesen Bereichen oftmals nicht genügend große Bildmengen vorhanden sind. Gerade für diese Anwendungsgebiete sind authentische Verdeckungen für die Nutzerakzeptanz der Augmentierung wichtig. Unter authentischer Verdeckung wird die entsprechend der menschlichen Wahrnehmung visuell korrekte Überlagerung zwischen virtuellen Objekten und einzelnen Bildanteilen eines oder mehrerer Fotos verstanden. Das Ergebnis wird in Form einer Bilderwelt (eine bildbasierte 3D-Welt, die die Fotos entsprechend der Bildinhalte räumlich anordnet) präsentiert, die mit virtuellen Objekten erweitert wurde. Folglich ordnet sich diese Arbeit in das Fachgebiet der Augmented Reality ein. Im Rahmen dieser Arbeit wurde ein Verfahren für die bildbasierte Darstellung mit authentischen Verdeckungen auf der Basis von unvollständigen Tiefeninformationen sowie unterschiedliche Verfahren für die notwendige Berechnung der Tiefeninformationen entwickelt und gegenübergestellt. Das Sliced-Image-Rendering-Verfahren rendert mithilfe unvollständiger Tiefeninformationen ein Bild ohne 3D-Geometrie als dreidimensionale Darstellung und realisiert auf diese Weise eine authentische Verdeckung. Das Berechnen der dafür notwendigen Tiefeninformationen eines 2D-Bildes stellt eine gesonderte Herausforderung dar, da die Bilderwelt nur wenige und unvollständige 3D-Informationen der abgebildeten Szene bereitstellt. Folglich kann eine qualitativ hochwertige 3D-Rekonstruktion nicht durchgeführt werden. Die Fragestellung ist daher, wie einzelne Tiefeninformationen berechnet und diese anschließend größeren Bildbereichen zugeordnet werden können. Für diese Tiefenzuordnung wurden im Rahmen der vorliegenden Arbeit drei verschiedene Verfahren konzipiert, die sich in Bezug auf genutzte Daten und deren Verarbeitung unterscheiden. Das Segment-Depth-Matching-Verfahren ordnet Segmenten eines Bildes mithilfe der 3D-Szeneninformationen der Bilderwelt eine Tiefe zu. Hierfür werden Segmentbilder vorausgesetzt. Als Ergebnis liegt für jedes Foto eine Depth-Map vor. Um eine Tiefenzuordnung auch ohne eine vorangehende Segmentierung zu ermöglichen, wurde das Key-Point-Depth-Matching-Verfahren entwickelt. Bei diesem Verfahren werden die 3D-Szeneninformationen der Bilderwelt auf die Bildebene als kreisförmige Sprites projiziert. Die Distanz zur Kamera wird dabei als Tiefenwert für das Sprite verwendet. Alle projizierten Sprites einer Kamera ergeben die Depth-Map. Beide Verfahren liefern Flächen mit Tiefeninformationen, aber keine pixelgenauen Depth-Maps. Um pixelgenaue Depth-Maps zu erzeugen, wurde das Geometry-Depth-Matching-Verfahren entwickelt. Bei diesem Verfahren wird eine Szenengeometrie des abgebildeten Szenenausschnittes erzeugt und dadurch eine pixelgenaue Depth-Map erstellt. Hierfür wird ein semiautomatischer Skizzierungsschritt vorausgesetzt. Die erzeugte Szenengeometrie stellt keine vollständige 3D-Rekonstruktion der Bilderweltenszene dar, da nur ein Szenenausschnitt aus Sicht einer Kamera rekonstruiert wird. Anhand einer technischen Umsetzung erfolgte eine Validierung der konzeptionellen Verfahren. Die daraus resultierenden Ergebnisse wurden anhand verschiedener Bilderweltenszenen mit unterschiedlichen Eigenschaften (Außen- und Innenraumszenen, detailreich und -arm, unterschiedliche Bildmengen) evaluiert. Die Evaluierung des Sliced-Image-Renderings zeigt, dass mithilfe unvollständiger Tiefeninformationen der entwickelten Depth-Matching-Verfahren und unter Einhaltung der gestellten Anforderungen (wenig Eingabefotos, kleine Szenen, keine 3D-Rekonstruktion) eine authentische Verdeckung eingebetteter virtueller 3D-Objekte in Bilderwelten realisiert werden kann. Mithilfe des entwickelten Systems können bildbasierte Anwendungen auch mit kleinen Fotomengen Augmentierungen mit hoher Bildqualität in Bezug auf eine authentische Verdeckung realisieren.
• The goal of this work is the authentic occlusion of embedded virtual objects in augmented photo collections by using only a small number of photos. The realization of occlusions of virtual and real objects in an Augmented Reality application require depth information. Usually this information is computed by performing a complete 3D reconstruction of the image-based scene, which requires a big number of input photos. In contrast, in this work a system was developed, which based on a direct image-based rendering approach without performing a 3D reconstruction. This image-based rendering approach works with incomplete depth information and realizes a high image quality regarding authentic occlusion. This work opens up new scopes of application like automatic visualization of 3D planning data and 3D product presentations in photos or photo collections, because in these scopes a large number of input photos is often not available. Especially for these application areas authentic occlusions are important for the user acceptance of an augmentation. An authentic occlusion is the visually, correct superimposition of virtual objects and image parts of one or more photos according to human perception. The result is presented as an augmented photo collection. A photo collection is an image-based 3D world, in which the photos are spatialized by their visual content. Thus, this work is part of the field of research Augmented Reality. In context of this work, an approach for image-based rendering with authentic occlusions based on incomplete depth information and several approaches for computing the necessary depth information were developed. The Sliced-Image-Rendering technique uses the incomplete depth information to render 2D images as a three-dimensional relief in order to realize an authentic occlusion of embedded virtual objects. The computation of necessary depth information of a 2D image represents a separate challenge, because a high-quality 3D reconstruction cannot be performed. Thus, the question is how individual depth information can be computed and mapped to larger image areas. In this work, three depth mapping approaches were developed that differ in terms of used data and their processing. The Segment-Depth-Matching technique assigns depth to image segments using the 3D scene information of the photo collection. This assumes segment images. As a result, for each photo a depth map exists. To allow a depth mapping even without a prior segmentation, the Key-Point-Depth-Matching technique has been developed. In this technique, the 3D scene information of the photo collection is projected onto the image plane as circular sprites. All projected sprites of an image are combined to produce the corresponding depth map. Both techniques produce surfaces with depth information, but no pixel-accurate depth maps. To create pixel-accurate depth maps, the Geometry-Depth-Matching technique has been developed. In this method, geometry is generated for the region that is visible in a photo and thereby a pixel-accurate depth-map is created. The generation of geometry requires a semi-automatic segmentation step. The generated scene geometry is not a full 3D reconstruction of the global scene shown in complete photo collection, as only geometry for a single image is generated. The approaches were implemented into a system and validated. The subsequent results are analyzed and evaluated in terms of authentic occlusion by using several scenes with different properties (exterior and interior scenes, rich and poor in detail, different number of input photos) as test data. The evaluation of the Sliced-Image-Rendering technique shows that authentic occlusion can be realized by using incomplete depth information obtained by the developed depth-matching techniques. With the aid of the developed system in this work, image-based applications can realize augmentations with high image quality in terms of an authentic occlusion even though only a small number of input photos is given.