Die Umfeld- und Objekterkennung ist eine der großen Herausforderungen auf dem Weg zum automatisierten Fahren. Eine der grundlegenden Fragen in diesem Kontext lautet: „Wie bekomme ich die Umgebung ins Fahrzeug?“

Wir beantworten solche Fragen mit dem Einsatz von Techniken des maschinellen Lernens, also der Abbildung sehr komplexer, nicht einfach prozedural zu programmierender, Lösungen über neuronale Netzwerke.

Eingesetzt wird dazu bei der fka u. a. eine Nvidia Drive PX2. Diese spezialisierte Hardware kann neuronale Netzwerke verarbeiten, ist für die Anwendungen im Automotive Bereich optimiert und verfügt u. a. über die erforderlichen Schnittstellen.

Damit das Fahrzeug die Umgebung erfassen und verstehen kann, trainieren wir zunächst die neuronalen Netzwerke in Bezug auf die jeweilige Aufgabe (Schildererkennung, Klassifizierung von Objekten, Segmentierung von ganzen Bildern, …). Dazu wird das Netzwerk problemspezifisch erstellt und optimiert. Anschließend werden Daten aus Messfahrten aufgezeichnet, aufbereitet, annotiert und künstlich vervielfältigt, um die Netze effizient anzutrainieren. Abschließend testen, validieren und optimieren wir die Netzwerke.

Angewendet wurde dieses Verfahren z. B. im Bereich des Fahrzeugplatooning. Im Rahmen der Funktionsentwicklung zum automatisierten Kolonnenfahren konnte damit ein bestehendes System zur Fahrbahnmarkierung erweitert werden. Elementar für solche Systeme ist die Erkennung von Fahrbahnmarkierungen mittels spezieller Kamerasysteme. Die Frontkameras sind normalerweise mittig im Fahrzeug platziert und haben im Fall der Kolonnenfahrt eine sehr eingeschränkte „Sicht“, da das vorausfahrende Fahrzeug die meiste Fläche auf dem Bild einnimmt. Ein Versatz der Kamera an die linke Seite ermöglicht zwar die freie Sicht, durch die veränderte Perspektive / anderer Blickwinkel erscheinen die Fahrbahnmarkierungen aber für das neuronale Netzwerk verändert und werden daher gar nicht oder unzureichend erkannt. Aus diesem Grund muss es neu angelernt werden. Dazu können wir mit unseren Versuchsträgern Referenzsituationen erzeugen und einmessen und dabei die benötigten Daten (z. B. Kamerabilder, aber auch Radar- und Lidar-Daten) aufzeichnen. Die Daten werden annotiert und den Netzen als Lerndaten zugeführt und die Netze unabhängig von den Lerndaten validiert.

Die gemessenen Daten annotieren wir mit unserer eigenen Software, zum Beispiel markieren wir Fahrzeuge, Fahrbahnmarkierung, aber auch alle anderen relevanten Objekte und klassifizieren sie nach den Wünschen und Anforderungen der Anwendung des Kunden. Anschließend vervielfachen wir diese Daten künstlich, indem wir z. B. veränderte Witterungsbedingungen künstlich über die Bilder legen und diese Daten dann nutzen, um das neuronale Netzwerk auf die Erkennung von Fahrbahnmarkierungen intensiver zu trainieren.