Formula Student: autonomes Fahren mit 3D-Bildverarbeitung

Hochschulen aus aller Welt liefern sich in der Formula Student Driverless spannende Wettbewerbe beim Bau des besten fahrerlosen Rennwagens. Das Team municHMotorsport setzt für die Erkennung und Auswertung der Streckenmarkierungen auf Bildverarbeitung von STEMMER IMAGING.

www.youtube.com/watch

Ein Hauch von Formel 1 liegt in der Luft, wenn die Mitglieder des Formula Student Racing Teams der Hochschule München mit Feuereifer daran arbeiten, ihren fahrerlosen Rennwagen weiterzuentwickeln und zu optimieren. Schon seit 2005 bereiten sich Studierende aus Studiengängen wie Fahrzeugtechnik, Maschinenbau, Wirtschaftsingenieurwesen, Informatik, Design, BWL und vielen weiteren anhand einer spielerischen Aufgabenstellung auf die künftige fachübergreifende Berufsrealität vor.

„Derzeit sind wir insgesamt rund 120 Studierende, die zum Teil sehr viel Zeit in dieses Projekt stecken“, erläutert Timo Socher. Der Informatik-Student ist bereits seit drei Jahren mit großer Begeisterung dabei und trägt für die aktuelle Saison als CTO Driverless die Verantwortung für alle technischen Aspekte des fahrerlosen Rennwagens, den municHMotorsport 2020 ins Rennen schickt. Am Ende des komplett selbstständig organisierten Projekts werden Aufwendungen im sechsstelligen Bereich in dieses Rennfahrzeug geflossen sein, das autonom auf einer Rennstrecke mit Geschwindigkeiten bis 65 km/h navigiert.



In der Königsdisziplin Track Drive müssen die autonomen Fahrzeuge zehn Runden auf einem zuvor unbekannten Parcours von bis zu 500 Metern Länge absolvieren. Bildquelle: municHMotorsport

Unbekannter Parcours
Rundenzeiten und Top-Speed sind nicht die alleinigen Kriterien für die Bewertung der Fahrzeuge beim Kampf um das Siegerpodest (siehe Kastentext), doch in drei dynamischen Disziplinen müssen die Entwicklungen auch auf der Rennstrecke zeigen, was sie können. Zum einen wird die Beschleunigung auf einer geraden, 75 Meter langen Strecke aus dem Stillstand bis zum vollständigen Abbremsen bewertet. Beim so genannten Skid-Pad als zweiter Aufgabenstellung durchfahren die Autos einen bekannten Parcours in Form einer liegenden Acht. Die Königsdisziplin stellt der Track Drive dar: Hier müssen die Fahrzeuge zehn Runden auf einem zuvor unbekannten Parcours von bis zu 500 Metern Länge absolvieren.

Die Streckenführung aller drei Disziplinen erfolgt über definierte blaue und gelbe Hütchen, die in Abständen von maximal 5 Metern links und rechts entlang der Begrenzungslinien aufgestellt werden. „An diesen Merkmalen orientieren sich die autonomen Fahrzeuge und nutzen dafür neueste Technologien in Hard- und Software, um Beschleunigungen, Abbremsen und die Lenkbewegungen der Rennwagen zu steuern und das gesamte System so zu optimieren, dass möglichst gute Fahrleistungen erzielt werden“, erklärt Socher.

"Die Bildverarbeitung ist in unserem System eine der wichtigsten Komponenten und spielt bei der Erkennung der Hütchen die entscheidende Rolle, denn als Sensorik stellt sie den nachfolgenden Auswertesystemen die Basisdaten für die Reaktionen des Fahrzeugs zur Verfügung. Die Qualität der Umfeld- und Hütchenerkennung legt deshalb den Grundstein für alle weiteren Module unseres Fahrzeugs und ist somit extrem wichtig für die Stabilität und Leistung des gesamten Systems." Timo Socher, CTO Driverless, municHMotorsport



Timo Socher: „Die Bildverarbeitung ist in unserem System eine der wichtigsten Komponenten und legt den Grundstein für alle weiteren Module unseres autonomen Rennwagens.“

Anspruchsvolle Objekterkennung
In ihrem aktuellen Fahrzeug haben die Münchner Studenten zwei Bildverarbeitungssysteme integriert, die mit ihren Aufnahmen die Basis für die Streckenerkennung schaffen. Eines dieser beiden Systeme ist am Überrollbügel angebracht und erfasst die Hütchen auf größere Entfernungen im Bereich von fünf bis 20 Metern. Für die kommende Saison soll dieser Bereich auf bis zu 30 Meter erweitert werden, um mehr Zeit für die nötigen Berechnungen zur Verfügung zu haben und noch vorausschauender reagieren zu können. Als zweites System sind zwei Intel RealSense-Kameras unterhalb der Nase des Rennwagens befestigt, die mit überlappenden Öffnungswinkeln von jeweils 80 Grad angeordnet sind. Sie sorgen für die Aufnahme von Bildern, aus denen die Begrenzungsmerkmale auf nahe Distanzen zwischen 1,5 und 8 Metern ausgewertet werden.

Die auf diese Weise gewonnenen Bilddaten werden zur zentralen Rechnereinheit im Heck des Rennwagens übermittelt, wo sie ein Jetson Xavier Embedded-Rechner in Verbindung mit weiteren Sensordaten des Systems auswertet. Zum Einsatz kommen dabei Technologien wie die Fusionierung sämtlicher Sensordaten sowie eine visuelle Odometrie, mit der die Berechnung von Position und Ausrichtung des Rennwagens durch die Analyse der aufgenommenen Kamerabilder erfolgt. Diese Technologie wird in der Industrie häufig eingesetzt, um Bilddaten als Grundlage für die Positionierung von Robotern zu nutzen – ein weiterer Beleg dafür, wie nahe die Aufgabenstellung bei municHMotorsport an realen Anwendungen in der Industrie ist.

Ein Rennwagen soll natürlich möglichst schnell sein. Aus diesem Grund gilt es, die Bilder aus den Kamerasystemen schnell und effizient in der Recheneinheit zu verarbeiten. Ziel der Bildverarbeitung ist es, die farbigen Pylonen auf den Farbbildern zu lokalisieren, zu klassifizieren und anschließend ihre Position bezüglich der Kamera zu schätzen. Erschwert wird diese Objekterkennung durch einige nicht vorhersagbare Einflussgrößen wie zum Beispiel Wetter- und Lichtbedingungen, oder den Zustand der jeweiligen Rennstrecke, der aufgrund von Schlaglöchern, Unebenheiten oder dem Höhenprofil vom idealen Normzustand abweichen kann. Auch der jeweilige Hintergrund kann durch Zuschauertribünen und andere Objekte von Rennen zu Rennen unterschiedlich sein.



Zwei 3D-Stereoskopie-Kameras Intel RealSense im Bereich der Fahrzeugnase erfassen die Rennstrecke und die Begrenzungshütchen auf nahe Distanz.

Beste Ergebnisse mit Deep Learning
Um in Bezug auf die Objekterkennung möglichst gut auf alle Eventualitäten vorbereitet zu sein, setzt das Team aktuellste Techniken ein, erläutert Socher: „Für die Erkennung und Klassifizierung von Objekten auf Farbbildern existiert eine Vielzahl an Algorithmen und neuronalen Netzen. Zudem gibt es natürlich noch herkömmliche Methoden der Bildverarbeitung wie beispielsweise die Kantenerkennung in speziellen Farbfiltern, die man zu diesem Zweck nutzen könnte. Wir haben uns jedoch für einen Deep Learning-Ansatz entschieden, der sich als besonders robust gegenüber unterschiedlichen Wetter- und Witterungsbedingungen erwiesen hat und somit für unsere Zwecke die besten Ergebnisse versprach.“

Die dafür erforderlichen Bilder mit Pylonen vor unterschiedlichen Hintergründen und Umgebungen nahmen Sochers Mitstreiter bei unterschiedlichen Bedingungen auf und reicherten diese Trainingsdatensätze mit Hilfe von Data Augmentation-Techniken weiter an. Die Grundidee hinter diesem Ansatz: Je mehr unterschiedliche Trainingsdaten vorliegen, desto besser wird die Genauigkeit der trainierten Modelle. Mittels Data Augmentation werden vorhandene Bilder per Software leicht abgewandelt, indem zum Beispiel zufällige Pixelwerte addiert, Bilder weichgezeichnet, leicht gedreht oder Kontraste verändert werden, um so eine größere Anzahl an Trainingsbildern zu generieren. „Darüber hinaus tauschten wir Trainingsbilder mit anderen Teams aus dem Wettbewerb und nutzten zudem noch rund 3000 Bilder aus dem so genannten KITTI-Datensatz, der Bilder von Straßen ohne Pylone zur Verfügung stellt.“ Der gesamte Trainingsdatensatz umfasst mittlerweile mehrere Tausend Bilder und dient als Basis für die Simulationen, mit denen das Studenten-Team zeitsparend an der Optimierung des autonomen Rennwagens arbeitet.

Unterstützung von Bildverarbeitungsspezialisten
Für viele Mitglieder des Formula Student Racing Teams der Hochschule München war das Thema Bildverarbeitung zunächst Neuland.

"Um das zu ändern, haben einige von uns an Schulungen bei der renommierten STEMMER IMAGING European Imaging Academy (EIA) teilgenommen. Diese waren vor allem für neue Projektmitarbeiter sehr hilfreich, um die Zusammenhänge besser zu verstehen und sich schnell in die erforderlichen Grundlagen der Bildverarbeitung einzuarbeiten." Timo Socher, CTO Driverless, munichMotorsport

Die European Imaging Academy bietet eine breite Palette an praktischen Schulungen, Videos und Veranstaltungen zum Thema industrielle Bildverarbeitung an. Anfänger werden in die Grundlagen eingeführt, während Fachleute einen tieferen Einblick erhalten und nützliche Tipps und Tricks zur Verbesserung der Effizienz ihrer Lösung erhalten. Die Schulungen werden von erfahrenen Experten in den Kundenzentren von STEMMER IMAGING in ganz Europa durchgeführt. STEMMER IMAGING CTO Martin Kersting: „Bei der Formula Student wird die erworbene Theorie mit praktischer Erfahrung verbunden. Der Erwerb von Fähigkeiten und Schlüsselkompetenzen wie interdisziplinäres Denken, Problemlösen und betriebswirtschaftliches Wissen wird hier vorbildlich umgesetzt.“

Zwischen der Hochschule München und den Bildverarbeitungsexperten bestehen langjährige gute Beziehungen, die auch dazu geführt haben, dass STEMMER IMAGING municHMotorsport als Sponsor unterstützt. „Bei der Entwicklung der Vision-Systeme in unseren Rennwagen konnten wir auf diese Weise von langjährigen Erfahrungen aus der Industrie profitieren und bekamen zudem leistungsfähige Bildverarbeitungskomponenten wie 3D-Stereoskopie-Kameras gestellt.“ Solche Highspeed-Kameras eignen sich aufgrund ihrer kompakten, robusten Bauweise und der großen Schärfentiefe perfekt für den Einsatz als Augen der autonomen Rennwagen.

Die Praxisnähe der Vision-Experten zahlte sich außerdem bei der Datenübertragung der aufgenommenen Bilddaten aus beiden Kamerasystemen an die zentrale Rechnereinheit des Rennwagens aus: Die dafür nötigen Kabel mussten besondere Anforderungen erfüllen, da sie durch das komplette Fahrzeug und teilweise an der Leistungselektronik vorbei verlegt wurden. „STEMMER IMAGING hat deshalb spezielle EMV-geschirmte Kabel für unsere Rennwagen angefertigt und uns auch dadurch sehr geholfen.“



Mit einem Trainingsdatensatz von mehreren Tausend Bildern simulieren die Studenten verschiedene Rennsituationen und optimieren so die Performance des autonomen Rennwagens.

Podestplatz als Ziel
Für die kommende Rennsaison arbeiten die Studierenden mit Hochdruck daran, ein konkurrenzfähiges Fahrzeug zu entwickeln, mit dem sie ihr Team, die Hochschule München und ihre Sponsoren angemessen repräsentieren können. „Mit unserem autonomen Rennwagen wollen wir dieses Jahr auf jeden Fall unter den ersten Drei landen“, formuliert Socher das Ziel von municHMotorsport. Der Ehrgeiz seines Teams und die eingesetzte Bildverarbeitung bieten jedenfalls die besten Voraussetzungen für einen Podestplatz.

www.stemmer-imaging.com

  Fordern Sie weitere Informationen an…