Automotive Standards aus Testersicht

Die ISO 26262 hat zum Ziel, Risiken aus systematischen Fehlern in der Entwicklung und zufälligen Hardwarefehlern in Betrieb durch die Vorgabe von geeigneten Anforderungen und Prozessen zu vermeiden. Für die Entwicklung von E/E-Systemen definiert sie Anforderungen an die vom Tester anzuwendenden Prozesse und gibt im Detail Methoden vor. Auch wenn die ISO 26262 Vorgaben zu den Prozessen macht, fokussiert sie sich dennoch auf das zu erstellende Produkt und will dessen Qualität sicherstellen.

Daher macht sie auch konkrete Vorgaben zu den Methoden, die je nach ASIL-Einstufung des Produkts, bzw. der einzelnen Funktionen, anzuwenden sind. ASPICE beschreibt Anforderungen an die Fähigkeiten von Prozessen. Dazu definiert ASPICE Indikatoren, d.h. bewertbare Kriterien, die unabhängig von der ASIL-Einstufung des Produkts gültig sind und die eine Bewertung der Prozesse möglich machen. ASPICE zielt damit auf die Qualität der Prozesse. In Assessment werden die Fähigkeiten der Prozesse in einem konkreten Projekt bewertet und in Abhängigkeit von den Assessmentergebnissen auch im Projekt verbessert. 

Die Anzahl und Zuordnung der Teststufen in diesem Artikel repräsentiert die Sicht und Interpretation der Autoren. Sie erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit. Die Auslegung der Teststufen kann in der Praxis abweichen.

Teststufen

ISO 26262 und ASPICE enthalten Teststufen, die sich auf Software bzw. auf Embedded Systeme beziehen. Diese Systeme bestehen in der Regel aus Software und Hardware. Der Schwerpunkt des CTFL liegt hingegen auf dem Test von Software, bzw. IT-Systemen mit kommerzieller IT-Infrastruktur. Trotzdem lassen sich die meisten Inhalte des CTFL problemlos auf das Testen von Embedded Systemen übertragen. 

Tabelle 1 stellt die Teststufen der drei Standards und den typischen Teststufen der Automobilindustrie gegenüber und soll Anfängern dem Einstieg erleichtern und zu einem besseren Verständnis der Teststufen führen*. Die Teststufen des CTFL treten wiederholt auf. Für die Gegenüberstellung, sind die generischen Teststufen des CTFL um das Testobjekt ergänzt, auf das sich die Teststufe bezieht. Die typischen Teststufen in der Automobilindustrie beziehen sich auf die Sicht der Automobilhersteller. 

* Die Anzahl und Zuordnung der Teststufen in diesem Artikel repräsentiert die Sicht und Interpretation der Autoren. Sie erhebt keinen Anspruch auf Vollständigkeit oder Korrektheit. Die Auslegung der Teststufen kann in der Praxis abweichen.

Software

Bei den Teststufen, die sich auf den Test von Software beziehen, stimmen die drei Standards inhaltlich gut überein. Alle drei Standards erwarten den Test der einzelnen Komponenten, bevor diese integriert werden. Beim anschließenden Integrationstest werden die Schnittstellen zwischen den Komponenten, insbesondere das Zusammenspiel an den Schnittstellen, getestet. Im letzten Schritt folgt der Test der vollständig integrierten Software, dem System aus Softwarekomponenten. 

Steuergerät

Nachdem das Softwaresystem erfolgreich getestet ist, erfolgt die Integration von Software und Hardware. Die nächste Integrationsteststufe bezieht sich daher auf den Test der Schnittstellen zwischen Software und Hardware. Die darauffolgende Teststufe testet das vollständig integrierte System (hier das Steuergerät). Während ASPICE und der CTFL diese beiden Teststufen explizit ausweisen und ähnliche Namen haben, verfolgt die ISO 26262 eine andere Philosophie. Sie fasst die Integration mit dem Integrationstest und dem anschließenden Systemtest in einem Kapitel zusammen. Aus den Kapitelnamen der ISO 26262 ist nicht ersichtlich, dass hier zwei Teststufen subsumiert sind. Allerdings lassen die Forderungen inkl. der jeweiligen Methodentabellen erkennen, dass die ISO 26262 sowohl einen Integrationstest als auch einen Systemtest für Hardware und Software erwartet. 

Teilsystem

Auf den darauffolgenden beiden Teststufen liegt der Fokus auf einem Teil des Fahrzeugsystems – dem Teilsystem. In diesem Teilsystem sind nur die HW/SW-Systeme (Steuergeräte) enthalten, die für einen Testumfang erforderlich sind. Dies kann beispielsweise ein Feature (z.B. Tempomat), ein Item (siehe ISO 26262) oder eine Domäne (z.B. Antriebsstrang) sein. Im Gegensatz zur ISO 26262 unterscheidet ASPICE nicht zwischen den Systemen Steuergerät und Teilsystem. Aus diesem Grund sind für die stufenweise Integration im Wechsel die Prozesse SYS.4 und SYS.5 anwendbar. 

Fahrzeugsystem

Bei dieser letzten Integrationsebene spricht die ISO 26262 von einer Fahrzeugintegration und Test (Vehicle Integration and Test). Im Rahmen des Fahrzeugintegrationstests stehen die Schnittstellen des Teilsystems im Fokus, während der Fahrzeugtest2 für den Test des vollständig integrierten Fahrzeugs steht. Die Motivation für diese drei Ausprägungen liegt in den unterschiedlichen Methoden, die von der ISO 26262 für die jeweilige Integrationsstufe empfohlen werden. 

Auf Ebene des Fahrzeugtests gibt es eine weitere Besonderheit der ISO 26262. Das Ziel der ISO 26262 ist es, die funktionale Sicherheit von E/E-Systemen sicherzustellen. Das umfasst unter anderem die abschließende Sicherheitsvalidierung des Fahrzeugs durch den Hersteller und ist daher als separate Teststufe in der ISO 26262 ausgewiesen. Da die Sicherheitsvalidierung des Fahrzeugs einen besonderen Aspekt beim Fahrzeugtest darstellt, ist die Safety Validation in der Tabelle auf die Stufe des Fahrzeugtests verortet. 

Der Begriff Fahrzeugtest wird häufig auch von Zulieferern verwendet, wenn diese ihr System in ein vom Hersteller zur Verfügung gestelltes Fahrzeug einbauen und dort testen. Dabei handelt es sich jedoch nicht um einen Fahrzeugtest. Das Fahrzeug ist bei dieser Teststufe nur die Testumgebung, nicht aber das Testobjekt. Testobjekt ist das vom Zulieferer entwickelte System. 

Im Gegensatz zur ISO 26262 unterscheidet ASPICE wiederum nicht zwischen den Systemen Teilsystem und Fahrzeugsystem. Aus diesem Grund sind für die stufenweise Integration im Wechsel die Prozesse SYS.4 und SYS.5 anwendbar. 

Abnahmetest/ Kundennaher Test/ Pressefahrt/ Vorstandsfahrt 

ASPICE und die ISO 26262 betrachten formal den Abnahmetest nicht. Der Abnahmetest des CTFL ist am allgemeinen V-Modell angelehnt. Er ist dadurch gekennzeichnet, dass der Kunde das von ihm beauftragte Produkt testet und abnimmt. Im Kontext der Fahrzeugentwicklung sind dies nicht die Endkunden, sondern interne Kunden und Stellvertreter der Kunden. 

So führen viele Hersteller beispielsweise sogenannte kundennahe Tests durch. Dabei überlassen die Hersteller ihren Mitarbeitern und Entwicklungspartnern Erprobungsfahrzeuge. Im Gegenzug müssen diese einen Bericht über ihre Fahrerfahrungen abgeben. Eine ähnliche Bewertung des Fahrverhaltens eines neuen Fahrzeugs wünscht sich der Hersteller durch Pressefahrten. Hier testen Pressevertreter (beispielsweise von Automobilzeitschriften) neue Fahrzeuge und geben durchaus kritisches Feedback. Auch dies ist im weitesten Sinne ein Abnahmetest.

Aus Sicht eines Herstellers schließlich ist der Vorstand der Auftraggeber für die Entwicklung eines Fahrzeugs. Daher ist der Abnahmetest des gesamten Fahrzeugs auch dem Vorstand des Herstellers zugeordnet und wird häufig Vorstandsfahrt genannt.   

Testverfahren und Testansätze

Der CTFL führt auf Basis der ISO 29119 [4] ausgewählte Testverfahren und Testansätze ein, die weitestgehend unabhängig von den Teststufen anwendbar sind. Die Auswahl obliegt dem Testmanager und hängt in der Regel von den spezifischen Projekt- und Produktcharakteristika ab. ASPICE benennt keine Testverfahren und enthält auch keine Vorgaben, welche Verfahren auf den Teststufen anwendbar sind. ASPICE verlangt jedoch eine stufenspezifische Teststrategie, welche für das Projekt geeignete Testverfahren benennt. Die Verantwortung für die Erstellung der stufenspezifischen Teststrategien liegt beim Testmanager. Er entscheidet über die Wahl der Verfahren und Ansätze. In der ISO 26262 existieren hingegen zu jeder Teststufe individuelle Methodentabellen. Die jeweiligen Methodentabellen geben dem Testmanager abhängig vom ASIL Empfehlungen für einzusetzende Verfahren und Ansätze. Vergleicht man die Forderungen aus den drei Standards, so enthält die ISO 26262 die meisten Details in Bezug auf die anzuwendenden Testverfahren (in Abhängigkeit vom ASIL). Der CTFL und die ISO 29119 stellen viele Testverfahren und -ansätze vor, die sich für die meisten Testprojekte eignen, enthalten aber keine konkreten Vorgaben für die einzelnen Teststufen. ASPICE erwartet eine dem Projekt angemessene und sinnvolle Auswahl von Testverfahren, macht jedoch ebenfalls keine konkreten Vorgaben. Die finale Entscheidung über die anzuwendenden Testverfahren und ansätze liegt bei allen drei Standards beim Testmanager 

Fazit

Die Entwicklung in der Automobilindustrie geht kontinuierlich weiter. Themen wie Cybersicherheit, Künstliche Intelligenz (KI) oder Safety of the Intended Functionality (SOTIF) werden immer wichtiger. Entsprechend ist bereits eine neue Version des Lehrplans des ISTQB Foundation Level „Certified Automotive Software Tester geplant, die diese Entwicklungen aus Testersicht aufgreift.  Die Gegenüberstellung der drei Standards ist ein Auszug aus dem neu erschienenen Buch „Basiswissen Automotive Softwaretest“. Dieses Buch, das wir zusammen mit Ralf Bongard und Alexander Schulz geschrieben haben, ist das jüngste Mitglied der Buchreihe Basiswissen Softwaretest beim dpunkt.verlag. 

Referenzen

[1] Verband der Automobilindustrie e.V. (VDA) / QMC Working Group 13 / Automotive SIG, Automotive SPICE® Process Reference
and Assessment Model, http://www.automotivespice.com/download/, 2017, Version 3.1.
[2] International Organization for Standardization (ISO), ISO 26262:2018 Road vehicles – Functional safety, 2018.
[3] International Software Testing Qualifications Board (ISTQB), Lehrplan Certified Tester Foundation Level, 2018, V3.1D.
[4] International Organization for Standardization (ISO), International Electrotechnical Commission (IEC), Institute of Electrical
and Electronics Engineers (IEEE), ISO/IEC/IEEE 29119-4:2015 Software and systems engineering – Software testing – Part 4: Test
techniques, 2015.