Autor: Armin D. Rheinbay
Der Einsatz von Künstlicher Intelligenz birgt gewaltige Chancen zur Verbesserung der Geschäftsprozesse und Kundenerlebnisse. In den letzten Jahren haben Künstliche Intelligenz (KI) und maschinelles Lernen (ML) enorme Fortschritte gemacht. ChatGPT ist aktuell ein populäres Beispiel. Künstliche Intelligenz steht im Rampenlicht, mit dem Potenzial, branchenübergreifend signifikante wirtschaftliche und gesellschaftliche Veränderungen herbeizuführen. Doch bei all dem Potenzial dürfen die kritischen Aspekte nicht übersehen werden. KI birgt auch ernsthafte Risiken, insbesondere in Hinblick auf ethische, rechtliche und operationelle Aspekte. Wenn es um die Integration von KI in Produkten und Dienstleistungen geht, müssen sowohl Führungskräfte als auch Entwickler die spezifischen KI-Risiken im Blick behalten.
In Europa befindet sich hierzu ein wegweisendes Gesetz in der Abstimmung: Bereits im April 2021 legte die Europäische Kommission den ersten Entwurf für einen EU-Rechtsrahmen für KI vor. Dieser Entwurf einer KI-Verordnung zielt darauf ab, eine EU-weite Regelung für den Einsatz von KI-Systeme zu schaffen, welche weitreichende Auswirkungen auf Unternehmen und Softwarehersteller in Europa haben. So könnten die gesetzlichen Anforderungen den Entwicklungsprozess und den Betrieb von KI-basierten Systemen komplexer und teurer machen.
Um frühzeitig im Unternehmen die Weichen richtig zu stellen und eine entsprechende Compliance zu gewährleisten, ist ein gutes Verständnis der gesetzlichen Vorgaben und der daraus resultierenden Handlungsbedarfe ein wertvoller Wettbewerbsvorteil.
Anwendungsbereich und wesentliche Inhalte
Der Vorschlagsentwurf der Kommission ist als horizontales EU-Gesetzgebungsinstrument konzipiert, das für alle KI-Systeme gilt, die in der Union in Verkehr gebracht oder verwendet werden. Zentraler Begriff der KI-Verordnung ist ein “KI-System” gemäß der Definition in Artikel 3.
Nach dem aktuellen Ratsvorschlag [1] wird ein KI-System definiert, als
„[…] ein System, das so konzipiert ist, dass es mit Elementen der Autonomie arbeitet, und das auf der Grundlage maschineller und/oder vom Menschen erzeugter Daten und Eingaben durch maschinelles Lernen und/oder logik- und wissensgestützte Konzepte ableitet, wie eine Reihe von Zielen erreicht wird, und systemgenerierte Ergebnisse wie Inhalte (generative KI-Systeme), Vorhersagen, Empfehlungen oder Entscheidungen hervorbringt, die das Umfeld beeinflussen, mit dem die KI-Systeme interagieren.“
Ist eine Anwendung ein „KI-System“ im Sinne der Definition der KI-Verordnung, fällt es entsprechend in den Bereich der Verordnung. Für alle KI-Systeme, die dieser Definition entsprechen, ist eine Risikoanalyse durchzuführen. Aus der daraus resultierenden Risikoklasse werden anschließend die gesetzlichen Pflichten abgeleitet. Für die Risiko-analyse und Klassifikation werden in der KI-Verordnung vier Risikoklassen vorgegeben:
- Inakzeptables Risiko: Verbotene KI-Systeme nach Artikel 5
- Hochrisikosysteme nach Artikeln 6 bis 51
- Systeme mit geringem Risiko nach Artikel 52
- Systeme mit einem minimalen Risiko nach Artikel 69
Risikoklasse “Inakzeptables Risiko”
KI-Systeme mit inakzeptablem Risiko gelten als Systeme, die gegen die Werte der EU verstoßen, weil sie die Gesundheit, Sicherheit oder Grundrechte verletzen. Dazu gehören z. B. Anwendungsfälle wie kognitive Verhaltensmanipulation von Menschen oder bestimmten gefährdeten Gruppen, z. B. sprachaktiviertes Spielzeug, das gefährliches Verhalten bei Kindern fördert.
Auch die Klassifizierung von Personen anhand ihres Verhaltens, ihres sozioökonomischen Status oder ihrer persönlichen Merkmale (Soziales Scoring) und biometrische Identifikationssysteme aus der Ferne in Echtzeit fallen in diese Risikoklasse. Anwendungsfälle, welche in diese Risikoklasse fallen, werden verboten. Verstöße können zu Bußgeldern von bis zu 30.000.000 € oder von bis zu 6 % des weltweiten Jahresumsatzes führen.
Risikoklasse “Hohes Risiko”
In diese Klasse fallen KI-Systeme, die sich nachteilig auf die Gesundheit, die Sicherheit oder die Grundrechte der Menschen auswirken können. Dazu zählen zum einen Sicherheitskomponenten von Produkten, die unter die EU-Produktsicherheitsgesetzgebung fallen, wie z. B. Spielzeug, Autos, medizinische Geräte, Aufzüge etc. oder Anwendungen aus acht Anwendungsfällen, die der Gesetzgeber im Anhang III auflistet, wie z. B. Systeme im Umfeld von kritischen Infrastrukturen oder bei dem Einsatz von Scoring-Systemen in der Kreditprüfung [1].
Hochrisiko-KI-Systeme müssen laut Ratsvorschlag umfangreiche technische und organisatorische Anforderungen erfüllen. So sollen alle KI-Systeme mit hohem Risiko nicht nur vor der Markteinführung, sondern auch während ihres gesamten Lebenszyklus überwacht und bewertet werden. Nach Artikel 17 müssen Anbieter für Hochrisiko-KI-Systeme ein Qualitätssicherungssystem einrichten, welches ein umfassendes Risikomanagementsystem enthält.
In Artikel 11 wird eine umfangreiche technische Dokumentation gefordert, auf dessen Basis eine Konformitätsbewertung und Zertifizierung gemäß Artikel 19 durchzuführen ist.
Darüber hinaus sind nach Artikel 52 Transparenz- und Informationspflichten, insbesondere gegenüber den Anwender:innen und Nutzer:innen der Hochrisiko-KI-Systeme, zu erfüllen. Da der Datenhaushalt für KI-Systeme maßgebliche Auswirkungen auf die gesamte Funktionsweise hat, werden nach Artikel 10 strenge Standards für die Datengovernance und Datenquali-tät der Trainings-, Validierungs- und Testdaten gefordert und es werden konkrete Vorgaben für die Trainings- und Testprozesse formuliert. So muss z. B. nach Artikel 10 Nr. 2 f) eine Untersuchung im Hinblick auf mögliche Verzerrungen (Bias), die die Gesundheit und Sicherheit von natürlichen Personen beeinträchtigen oder zu einer Diskriminierung führen können, durchgeführt werden. Des Weiteren wird gemäß Nr. 3 gefordert, dass die Trainings-, Validierungs- und Testdatensätze relevant, repräsentativ und so weit wie möglich fehlerfrei und vollständig sind.
Risikoklasse “Geringes Risiko”
Bei bestimmten KI-Systemen mit nur geringem Risiko sind besondere Transparenz- und Informationspflichten relevant, wie Kennzeichnungspflichten und Gebrauchsanweisungen. Benutzer:innen sollten darauf aufmerksam gemacht werden, dass sie es mit einer Maschine zu tun haben, wenn sie mit einer KI interagieren. In diese Risikoklasse fallen KI-Chatbots, KI-fähige Onlinespiele, Spamfilter, Bestandsverwaltungssysteme usw. Für solche Anwendungsfälle gelten die Transparenz- und Informationspflichten nach Artikel 52.
Risikoklasse “Kein oder minimales Risiko”
Solche KI-Systeme sind vom Anwendungsbereich ausgenommen. Für diese gelten die allgemeinen gesetz-lichen Bestimmungen, insbesondere die DSGVO. KI-Systeme dieser Risikoklasse können unter Einhaltung des allgemein geltenden Rechts entwickelt und verwendet werden. Anbieter solcher Systeme sollten jedoch freiwillig die Anforderungen an vertrauenswürdige KI anwenden und freiwillig ethische Standards und Verhaltenskodizes einhalten.
Implikationen für die Softwareentwicklung und Handlungsbedarf
Für Systemanbieter birgt der neue Rechtsrahmen sowohl Herausforderungen als auch Chancen. Unternehmen müssen sicherstellen, dass ihre Produkte und Dienstleistungen den neuen Anforderungen entsprechen und ihre Entwicklungsprozesse anpassen, denn die gesetzlichen Anforderungen betreffen den gesamten KI-Lebenszyklus.
Die zeigt die resultierenden Handlungsfelder aus der KI-Verordnung.
Von entscheidender Bedeutung ist die Einrichtung eines robusten KI-Governance-Rahmenwerks. Ein solches Rahmenwerk bietet einen strukturierten Bauplan auf der Basis praxiserprobter Standards und Best Practices. Auf Basis von Governance-Prinzipien und -Richtlinien ermöglicht ein solches Rahmenwerk revisionssichere KI-Prozesse. Durch die früh-zeitige Einbindung von Compliance-Checks und Governance-Prinzipien in den gesamten KI-Lebenszyklus unterstützt das Rahmenwerk, die Anforderungen der KI-Verordnung zu erfüllen und jederzeit einzuhalten.
Ausblick
Während der finale Text des Gesetzes noch in Diskussion ist, sind Systemanbieter gut beraten, sich schon jetzt mit den möglichen Anforderungen vertraut zu machen. Es wird eine mehrjährige Implementierungsfrist (angedacht sind zwischen 24 und 36 Monaten) gewährt. Dennoch sollte man sich, vor dem Hintergrund der tiefgreifenden Auswirkungen und der Bedeutung der KI-Technologie, frühzeitig vorbereiten. Machen Sie dafür einen Selbstcheck, indem Sie sich die folgenden Fragen stellen:
- Haben Sie bereits Transparenz über die in Ihrem Hause eingesetzten KI-Systeme und
KI-Initiativen (Bestandsliste, Inventar)?
- Haben Sie bereits eine Risikoklassifizierung durchgeführt und kennen Sie die daraus
resultierenden Anforderungen und Handlungsbedarfe aus der anstehenden KI-Verordnung?
- Haben Sie bereits eine klare KI-Strategie und einen entsprechenden KI-Governance- Rahmen etabliert?
- Haben Sie ein klares Bild von den bevorstehenden gesetzlichen Anforderungen und dem Handlungsbedarf oder sind Sie noch unsicher, wie Sie die EU-KI-Verordnung einhalten
sollen?
- Nutzen Sie KI-Technologien effektiv und rechtskonform?
Die Entwicklung von KI-Technologien wird weiterhin rasant fortschreiten. Es liegt in der Verantwortung aller Beteiligten sicherzustellen, dass diese Technologien sicher, ethisch und im besten Interesse der Gesellschaft eingesetzt werden. Eine “Governance” der KI-Systeme ist daher nicht nur zur Sicherstellung der Compliance mit dem neuen Regelwerk unabdingbar.
Quellen
Ratsvorschlag: “Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderungbestimmter Rechtsakte der Union”, Rat der Europäischen Union, Dossier 2021/0106(COD), Brüssel, November 2022.
Über den Autor
Armin D. Rheinbay verantwortet bei Sopra Steria Next das Thema Risikomanagement. Er ist seit rund dreißig Jahren in der Finanzindustrie als Berater, Unternehmer und Projektmanager für die
Entwicklung von Risikomessverfahren und der Einführung von unternehmensweiten Risikomanagementsystemen tätig. Darüber hinaus ist er Experte für regulatorische Anforderungen. Bei Sopra Steria unterstützt er seine Kunden, die mit der digitalen Transformation verbundenen Risiken effektiv und kosteneffizient beherrschen zu können und dabei den regulatorischen Anforderungen gerecht zu werden. Armin hat an den Universitäten Göttingen und Hamburg Unternehmensfinanzierung, Moderne Kapitalmarkttheorie und Kommunikations wissenschaften studiert und als Diplom-Volkswirt abgeschlossen.
