KI-Modelle testen

Autor: Khimanand Upreti

In unserer technologiegetriebenen Welt wird das Geschäft stark von innovativen, disruptiven Unternehmen beeinflusst. Viele Faktoren spielen hierbei eine Rolle: die sich verändernde technologische Landschaft, eine sich ändernde Geschäftsdynamik oder ein zunehmender intensiver Produktwettbewerb. Insbesondere auf der Technologieseite ist der Wettbewerb, bei neuen Technologien stets die Nase vorne zu haben, mit ein Grund, warum sich Business Modelle so schnell ändern.

Der KI-Markt wächst

Die Produkt-Transformation der letzten Zeit zeigt, dass der Einsatz von Produkten mit Künstlicher Intelligenz der neue Wettkampf unter den Unternehmen wird. Technologien wie in der Datenanalyse, wie IoT und Künstliche Intelligenz verbessern nicht nur das Produktangebot von Unternehmen, sondern verändern auch die Art und Weise, wie Produkte entwickelt und getestet werden. Nach Angaben eines bekannten Marktforschungsunternehmens wird der weltweite KI-Markt bis 2022 voraussichtlich auf etwa 4 Billionen Dollar anwachsen. Da immer mehr Produkte mit KI entwickelt werden, ist es wichtig, dass sie gründlich getestet werden. Aber bevor wir uns eingehender mit dem Testen von KI-Modellen befassen, werfen wir einen Blick auf ein KI-basiertes System und was das Testen eines solchen so herausfordernd macht.

Traditionelle Anwendungen sind von einer deterministischen Logik getrieben. D.h. für einen bestimmten Input gibt es einen bestimmten Output und somit ist es möglich, den Output für einen gegebenen Input vorherzusagen. Die KI-basierten Modelle sind probabilistisch, d.h. für einen bestimmten
Input gibt es eine Unvorhersehbarkeit des Outputs. Der Output eines KI-basierten Modells hängt davon ab, wie das Modell trainiert wurde. Was das Testen der KI sehr kompliziert macht, ist die Tatsache, dass IT-Experten im Allgemeinen wissen, wie man ein KI-Modell aufbaut und trainiert, aber nicht wissen, wie man den Output vorhersagen kann.

Das Testen von KI

Die Herausforderungen für das Testen umfassen folgende Punkte:

• Die Prüfung der Voreingenommenheit des KI-Modells.
• Die Auswahl der richtigen Testdaten, um sicherzustellen, dass das KI-Modell korrekt trainiert wird. Da das KI-Modell über mehrere dynamische und statische Datenquellen trainiert wird, kann es mehrere Probleme im Zusammenhang mit der Qualität der Eingabedaten geben. Die Daten könnten beim Training falsch, verzerrt oder unvollständig sein.
• Das KI-Modell sollte nicht zu Verhaltensweisen verleitet werden, die sich nachteilig auf uns auswirken. Beispielsweise sollte das KI-Modell keine geschäftskritischen Informationen preisgeben.
• Häufig reichen die Trainingsdaten nicht aus und daher reagiert das KI-Modell nicht angemessen auf einzigartige Szenarien, auf die es beim Testen ankommt.
• Da die IT-Experten im Allgemeinen nicht wissen, wie das KI-Modell den Output vorhersagt, ist es sehr schwierig, einen Fehler auf isolierte Weise zu beheben.

Das Testen eines KI-basierten Modells ist eine ziemliche Herausforderung. Aber eigentlich muss man nur beach¬ten, dass die Daten der Schlüssel zum Trainieren und Testen des Modells sind. Die Tester müssen sicherstellen, dass die Daten, die zum Trainieren des Modells verwendet werden, nicht mit den Daten übereinstimmen, die zum Testen des Modells verwendet wer¬den. Die Trainingsdaten dienen dem Modell zum Lernen eines Musters. Die Testdaten sollten jedoch einen gewis¬sen Grad an Variabilität aufweisen, um sicherzustellen, dass das Modell das Muster gelernt hat. Gleiche Sätze von Trainings- und Testdaten führen zwar zu perfekten Vorhersagen beim Testen, können aber auch zu zufälligen Vorhersagen in der Produktion führen.

Wichtige Überlegungen beim Testen von KI

Die oben genannten Herausforderungen können durch einen sorgfältigen Entwurf eines Testansatzes unter Berücksichtigung der folgenden Schlüsselüberlegungen bewältigt werden:

• Bevor Sie den Test durchführen, sollten Sie den Kernalgorithmus des KI-Modells und seine Grundlage für die Erstellung einer Vorhersage verstehen. Verstehen Sie die Merkmale, die sich auf das KI-Modell und die Geschäftsregeln desselben auswirken.
• Entwerfen Sie Testszenarien, um menschliche Voreingenommenheit zu beseitigen. Voreingenommenheit kann für die Anwendung sehr schädlich sein. Dies ist möglich, indem ein separater Satz von Testdaten ausgewählt wird, der nicht zum Training des Modells verwendet wurde.
• Denken Sie an die wichtigen Testszenarien, bei denen Sie nicht wollen, dass die KI versagt, und konstruieren Sie Tests für diese.
  Untersuchen Sie die Ergebnisse sorgfältig, insbesondere jene, bei denen das Modell derzeit falsch antwortet. Gibt es Muster oder Gemeinsamkeiten in den Ergebnissen? Diese Eingaben werden Ihnen helfen, die für die Tests verwendeten Testdaten weiter zu verfeinern und weitere Probleme zu erkennen.
• Machen Sie Sicherheitstests zu einem integralen Bestandteil der KI-Modellprüfung. Unsachgemäßes Testen kann dazu führen, dass das KI-Modell (wie z.B. Chatbots) manipuliert wird, um vertrauliche Geschäftsinformationen preiszugeben.

Zusätzlich berücksichtigt der Testansatz von KI-Testing die folgenden sechs Testtypen:

1. Metamorphic Testing: Hierbei wird eine Beziehung zwischen Ein- und Ausgängen hergestellt, mit deren Hilfe überprüft werden kann, ob der Ausgang akzeptabel ist oder nicht. Die Software wird auf diese Beziehungen geprüft, die als metamorph bezeichnet werden.
2. Adversarial Testing: Widersprüchliche Szenarien führen dazu, dass ein Modell Fehler macht. Sie können wie eine optische Täuschung für die Maschinen sein. Bei diesem Test werden viele kontradiktorische Beispiele erstellt, die explizit das Modell trainieren, damit es sich nicht von den einzelnen Szenarien täuschen lässt.
3. Cross Validation Testing: Solche basieren auf dem Prinzip, dass der Testdatensatz und der Trainingsdatensatz unterschiedlich sein sollten.
4. Hypothesis Testing: Beim Testen von Hypothesen gehen wir von einem Strohmann aus (ein Scheinargument, das so aufgestellt wurde, dass es widerlegt werden kann) und führen Tests durch, um zu versuchen, das Gegenteil zu beweisen.
5. Evolution Testing: Prüfung, ob das Modell mit der Zeit weiterentwickelt wird.
6. Sensitivity Testing: Diese bewerten, wie „empfindlich“ das Modell auf Schwankungen der Parameter und Daten, auf denen es aufgebaut ist, reagiert.

FAZIT

Damit Unternehmen auch in Zukunft erfolgreich sind, müssen sie weiterhin innovative und fortschrittliche Testmethoden entwickeln. Diese sollten nicht nur die traditionellen Anwendungsabläufe testen, sondern auch die intelligenten Algorithmen, die Systeme steuern. Sonst werden die Unternehmen von den disruptiven Technologien überrannt.

• Das Spezifikationsproblem: Algorithmen des Maschinellen Lernens sind gut darin, Probleme zu lösen, die schwer vollständig zu spezifizieren sind. Aktuelle Zertifizierungsansätze verlangen jedoch eine vollständige Spezifikation. Dieser Widerspruch macht insbesondere subsymbolische Ansätze, also statistische Verfahren, schwer zertifizierbar.
• Das Datensatzproblem: ML-Modelle sind in hohem Maße auf Daten und dessen gleichmäßiger Verteilung bei Training, Test und im Betrieb angewiesen. Das Datensatzproblem resultiert aus der Schwierigkeit, zu bewerten, ob ein gegebener Datensatz in Bezug auf die beabsichtigte Funktion ausreichend ist. Es ist aktuell schwierig zu zeigen, dass ein Datensatz die vorhersehbaren Betriebsbedingungen eines sicherheitskritischen Systems hinreichend abdeckt.
• Das Lernproblem: Für die Zertifizierung von ML ist es notwendig, entweder das aus dem Training resultierende Modell in Bezug auf die beabsichtigte Funktion oder den Trainingsprozess selbst zu verifizieren. Dies ist aufgrund der statistischen Funktionsweise von ML bereits schwierig genug. Erschwert wird dies weiter durch den Umstand, dass die interne Funktionsweise eines ML-Modells bisher kaum nachvollziehbar ist und eine Erklärung der ML-Modelle sowie der von ihnen erzeugten Ergebnisse damit schwierig ist. Man spricht daher auch von Black-Box-Ansätzen.