Künstliche Intelligenz und Maschinelles Lernen
Wie gelingt uns die Qualitätsabsicherung beim autonomen Verfahren?
von Dr. Björn Schünemann
Lernende Algorithmen, basierend auf künstlicher Intelligenz (KI), werden eine wichtige Rolle beim autonomen Fahren spielen. Einen besonderen Stellenwert hat dabei das maschinelle Lernen (ML). Die Maschine lernt dabei aus den ihr zur Verfügung gestellten Informationen, um das Gelernte anschließend auf neue Daten anwenden zu können. Durch den Einsatz ML-basierter Algorithmen in automatisierten Fahrfunktionen ergeben sich allerdings neue Anforderungen an die Absicherungsprozesse und -methoden. Bisher gibt es noch keine ausgereiften Lösungen für eine Absicherung von ML-basierten Fahrfunktionen, deren Verhalten vor allem durch Lernprozesse geprägt ist. Das AQI entwickelt Lösungsvorschläge zur Absicherung lernender Fahrfunktionen. In diesem Beitrag möchten wir auf einige Herausforderungen aufmerksam machen, die bei der Qualitätsabsicherung auftreten.
Versucht man das Verhalten von Computersystemen mit ML-Komponenten zu verifizieren, sieht man sich schnell mit den Besonderheiten solcher Systeme gegenüber herkömmlicher Software konfrontiert: Zunächst stoßen alle modellbasierten Ansätze auf das Problem, dass sich das gelernte Verhalten nicht unmittelbar modellieren lässt. Im schlimmsten Falle müssen systematisch alle möglichen Eingaben gemacht werden, bevor ein hinreichend genaues Modell synthetisiert werden kann. Ähnlich verhält es sich mit der Umgebung: Handelt es sich nicht um einen reinen Software- Agenten, sondern um ein Cyber- Physisches System (CPS), kann die Umwelt durch ein Modell nur approximiert und nie vollständig abgebildet werden. In diesem Fall lässt sich lediglich die Einhaltung der Spezifikation unter Gültigkeit der im Modell berücksichtigten Umgebungsvariablen folgern. Schließlich sind auch die vom System gewünschten Eigenschaften häufig schwierig in einer formalen Sprache abzubilden. Zum Beispiel wäre eine denkbare Anforderung an einen lernenden Transportroboter, dass er seine Ladung nie auf einer ungeeigneten Oberfläche abstellt. Wie kann so eine Anforderung eindeutig festgehalten werden?
Eine weitere Problematik ergibt sich in Bezug auf die Dynamik von gelerntem Verhalten: Klassische Verifikationsmethoden gehen von einem statischen Verhalten der Software aus, bei lernenden Systemen kann sich das Verhalten jedoch mit jeder Observation ändern. Aus diesem Grund sind nahezu alle bisher bekannten Verifikationstechniken in ihrer ursprünglichen Form unbrauchbar, sofern es dem System nach der Entwicklung erlaubt ist, weiterzulernen. Eines der zentralen Probleme beim kontinuierlichen Lernen solcher Systeme ist das Phänomen des katastrophalen Vergessens. Dabei handelt es sich um die Eigenschaft, bereits erlerntes Wissen im Zuge späterer Lernzyklen wieder zu verlieren. In Bezug auf die Absicherung und Freigabe von Fahrfunktionen bedeutet das, dass z.B. kein inkrementelles Aneignen (und Freigeben) von Fahrmanövern möglich ist. Bei jedem Lernupdate muss davon ausgegangen werden, dass sich das Ergebnis zuvor bereits erfolgreich absolvierter Tests verändern kann.
In den letzten Jahren wurden weiterhin Angriffe auf ML-Algorithmen identifiziert, bei denen korrekt erkannte Eingaben minimal (und häufig für den Menschen nicht sichtbar) verändert werden und diese minimale Veränderung zu einer Fehlentscheidung des Algorithmus führt. Im Kontext des automatisierten Fahrens kann die als Adversarial Examples bezeichnete Technik beispielsweise dazu verwendet werden, ein System zur Erkennung von Verkehrsschildern zuverlässig und mit geringem Aufwand zu täuschen. Die Abbildung 1 zeigt exemplarisch, wie ein Straßenschild durch minimale Manipulationen verändert werden kann, sodass das ML-System es anschließend falsch klassifiziert. Während das linke Schild erfolgreich als „Höchstgeschwindigkeit 60“ klassifiziert wird, kann bereits eine kleine Veränderung dazu führen, dass das Klassifizierungssystem getäuscht wird und stattdessen ein Stopp-Schild klassifiziert. Die Angriffstechnik lässt sich auch auf gewöhnliche Objekte und Firmenlogos übertragen mit den gleichen Konsequenzen.
Auch wenn viele Lösungsansätze noch Forschungsthemen sind, gibt es vielversprechende Vorschläge, um die oben genannten Probleme beherrschbar zu machen. Für die Erkennung von Verkehrsschildern kommen häufig neuronale Netze zum Einsatz. Bei einem neuronalen Netz ist das Verhalten in den Kantengewichten der Neuronen kodiert. Für das systematische Testen neuronaler Netze wurden Testframeworks (z.B. DeepTest, DeepRoad, DeepXplore, DLFuzz und TensorFuzz) entwickelt, die die Verteilung und das Zusammenspiel der Neuronenaktivität über das gesamte neuronale Netz analysieren können. Werden beispielsweise die beiden Verkehrszeichen aus Abbildung 1 an das neuronale Netz als Eingabe übergeben, darf das Testframework beim Vergleich keine großen Veränderungen in der Neuronenaktivität des Netzes für die beiden Verkehrszeichen feststellen. Treten stattdessen größere Veränderungen in der Neuronenaktivität auf, ist das neuronale Netz für die in Abbildung 1 dargestellte Attacke anfällig.
Eine zentrale Herausforderung beim Einsatz von neuronalen Netzen ist weiterhin, dass die internen Repräsentationen der Netze für Menschen nicht direkt interpretierbar sind und somit die Rückverfolgbarkeit schwierig wird. Eine Reihe von Validierungsansätzen setzt daher auf die Verbesserung der Erklärbarkeit des durch das ML-System gelernten Verhaltens (auch genannt White-box-Methoden). Zum Beispiel lassen sich bei der visuellen Objekterkennung Regionen in den Kamerabildern hervorheben, die einen besonders starken Einfluss auf die Ausgabe des neuronalen Netzes haben. Gerade für die Validierung des automatisierten Fahrens sind solche Visualisierungstechniken sehr hilfreich. Beispielweise kann durch die Hervorhebung der entscheidungstragenden Bildregionen bei einer Fußgängererkennungssoftware überprüft werden, ob diese Software wirklich die richtigen Bildregionen, in denen sich Fußgänger befinden, identifiziert hat.
Zusammenfassend lässt sich sagen, dass es bei der Qualitätsabsicherung des autonomen Fahrens große Herausforderungen gibt, insbesondere wenn Methoden des maschinellen Lernens zum Einsatz kommen. Allerdings gibt es zahlreiche Forschungsansätze, die für die Lösung der auftretenden Probleme vielversprechend sind. In den nächsten Jahren wird es darum gehen, diese Ansätze erfolgreich in die Praxis zu überführen.
