ISBN 978-3-8439-5039-8

978-3-8439-5039-8, Reihe Informatik

René Schuster
Data-driven and Sparse-to-Dense Concepts in Scene Flow Estimation for Automotive Applications

227 Seiten, Dissertation Technische Universität Kaiserslautern (2022), Hardcover, D4

Zusammenfassung / Abstract

Assistiertes und autonomes Fahren erfordert eine detaillierte und genaue Wahrnehmung der Umgebung. Dazu gehört auch die Wahrnehmung der 3D-Geometrie der Szene und der 3D-Bewegung anderer Verkehrsteilnehmer. Die Schätzung von beidem auf der Basis eines optischen Sensors ist in der Computer Vision als Szenenflussproblem bekannt.

In dieser Arbeit wird das "Sparse-to-Dense"-Konzept für die Schätzung des Szenenflusses eingeführt. Die Idee lässt sich wie folgt zusammenfassen: Zunächst wird der Szenenfluss für einige Punkte der Szene geschätzt, für die dies vergleichsweise einfach und zuverlässig möglich ist. Dann wird eine Interpolation durchgeführt, um eine dichte Schätzung für die gesamte Szene zu erhalten. Durch die Aufteilung in zwei Schritte kann jeder Teil einzeln optimiert werden. In einer Reihe von Experimenten wird gezeigt, dass die vorgeschlagenen Methoden konkurrenzfähige Ergebnisse erzielen und gegenüber bisherigen Techniken in einigen Aspekten vorzuziehen sind. Als zweiter Beitrag werden einzelne Komponenten in der "Sparse-to-Dense"-Pipeline durch Deep Learning Module ersetzt. Dabei handelt es sich um einen hoch lokalisierten und hochpräzisen Deskriptor zur Repräsentation von Pixeln und um ein Netzwerk für eine robuste und generische "Sparse-to-Dense"-Interpolation. Im Vergleich zu End-to-End-Architekturen haben einzelne Lern-Module den Vorteil, dass sie auf eine breitere Menge an Trainingsdaten zurückgreifen können. Der Rekombinationsansatz wendet ein ähnliches Konzept wie der "Sparse-to-Dense"-Ansatz an, indem weniger schwierige Teilprobleme gelöst und kombiniert werden. 3D-Geometrie und 2D-Bewegung werden separat geschätzt, die einzelnen Ergebnisse werden kombiniert, und dann ebenfalls zu einem dichten Szenenfluss interpoliert. Als letzter Beitrag wird in dieser Arbeit eine Reihe von monolithischen End-to-End Netzwerken für die Schätzung des Szenenflusses vorgeschlagen.