Artificial Intelligence Risk Management Framework

Einleitung

Das Artificial Intelligence Risk Management Framework (AI RMF 1.0) unterstützt Unternehmen beim Risikomanagement und bei der Einhaltung von Compliance-Anforderungen im Zusammenhang mit künstlicher Intelligenz (KI). Entwickelt wurde es vom National Institute of Standards and Technology (NIST) der US-Regierung. Es bietet eine strukturierte Methode, um Risiken bei der Implementierung von KI-Systemen zu identifizieren, zu bewerten und zu bewältigen. Darüber hinaus enthält das Framework Richtlinien für die Entwicklung, Implementierung und Überwachung von KI-Systemen sowie Werkzeuge zur Sicherstellung der Compliance. Im Folgenden werden die wesentlichen Inhalte des Frameworks vorgestellt:

KI-Risiken und Vertrauenswürdigkeit

Damit KI-Systeme als vertrauenswürdig gelten, müssen sie eine Reihe von Kriterien erfüllen, die für die beteiligten Interessengruppen von Bedeutung sind. Maßnahmen zur Steigerung der Vertrauenswürdigkeit können gleichzeitig die mit KI verbundenen Risiken verringern. Zu den Merkmalen vertrauenswürdiger KI-Systeme zählen: Validität und Zuverlässigkeit, Sicherheit, Widerstandsfähigkeit, Verantwortlichkeit und Transparenz, Erklärbarkeit und Interpretierbarkeit, Datenschutz sowie Fairness. Vertrauenswürdige KI erfordert eine sorgfältige Abwägung dieser Merkmale im jeweiligen Einsatzkontext. Alle genannten Merkmale sind sozio-technische Systemeigenschaften, wobei sich Verantwortlichkeit und Transparenz zusätzlich auf die Prozesse und Aktivitäten innerhalb eines KI-Systems und seiner externen Umgebung beziehen. Werden diese Merkmale vernachlässigt, steigen sowohl die Wahrscheinlichkeit als auch das Ausmaß negativer Konsequenzen.

Validität und Zuverlässigkeit sind notwendige Voraussetzungen für Vertrauenswürdigkeit und bilden die Grundlage für die übrigen Merkmale. Verantwortlichkeit und Transparenz sind als vertikales Feld dargestellt, da sie sich auf alle anderen Merkmale beziehen.

Validität und Zuverlässigkeit

Validierung bezeichnet die Bestätigung durch objektive Nachweise, dass die Anforderungen für einen bestimmten Verwendungszweck erfüllt sind. KI-Systeme, die ungenau oder unzuverlässig sind oder schlecht auf Daten und Umgebungen jenseits ihrer Trainingsdaten generalisieren, erhöhen die mit KI verbundenen Risiken und mindern die Vertrauenswürdigkeit. Zuverlässigkeit wird in derselben Norm als die Fähigkeit eines Systems definiert, über einen bestimmten Zeitraum unter definierten Bedingungen fehlerfrei zu funktionieren. Sie ist ein Zielkriterium für die allgemeine Funktionsfähigkeit eines KI-Systems unter den erwarteten Einsatzbedingungen und über dessen gesamte Lebensdauer hinweg.

Sicherheit

KI-Systeme sollten unter definierten Bedingungen keinen Zustand herbeiführen, der menschliches Leben, Gesundheit, Eigentum oder die Umwelt gefährdet. Der sichere Betrieb von KI-Systemen wird durch folgende Maßnahmen gestärkt:

• Verantwortungsvolle Praktiken bei Design, Entwicklung und Bereitstellung
• Klare Informationen für Betreiber zur verantwortungsvollen Nutzung des Systems
• Verantwortungsbewusste Entscheidungsfindung durch Betreiber und Endnutzer
• Dokumentation von Risiken auf Basis empirischer Erkenntnisse aus Vorfällen

Je nach Art des Sicherheitsrisikos können angepasste Risikomanagementansätze erforderlich sein, die auf den jeweiligen Kontext und die Schwere der möglichen Risiken abgestimmt sind. Sicherheitsrisiken mit dem Potenzial schwerer Verletzungen oder tödlicher Folgen erfordern die höchste Priorisierung und den gründlichsten Risikomanagementprozess.

Widerstandsfähigkeit

KI-Systeme und die Ökosysteme, in denen sie eingesetzt werden, gelten als widerstandsfähig, wenn sie unerwarteten Störungen oder Veränderungen in ihrer Umgebung standhalten können. Das bedeutet, dass sie ihre Funktionen und Struktur auch bei internen und externen Veränderungen aufrechterhalten oder sich bei Bedarf kontrolliert und sicher herunterfahren lassen. Typische Sicherheitsbedenken in diesem Zusammenhang betreffen Adversarial Examples, Data Poisoning sowie die Exfiltration von Modellen, Trainingsdaten oder anderem geistigen Eigentum über Systemschnittstellen. KI-Systeme, die durch geeignete Schutzmechanismen unbefugten Zugriff und unbefugte Nutzung verhindern und damit Vertraulichkeit, Integrität und Verfügbarkeit gewährleisten, gelten als sicher.

Verantwortlichkeit und Transparenz

Vertrauenswürdige KI basiert auf Verantwortlichkeit -- und Verantwortlichkeit setzt Transparenz voraus. Transparenz beschreibt, inwieweit Informationen über ein KI-System und seine Ergebnisse für die Personen zugänglich sind, die mit dem System interagieren, unabhängig davon, ob ihnen die Interaktion bewusst ist oder nicht. Aussagekräftige Transparenz bedeutet, dass angemessene Informationen bereitgestellt werden, die auf die jeweilige Entwicklungsphase der KI sowie auf die Rollen und Fachkenntnisse der beteiligten Akteure und Nutzer abgestimmt sind. Indem Transparenz das Verständnis fördert, stärkt sie das Vertrauen in das KI-System. Dieses Merkmal erstreckt sich von Designentscheidungen und Trainingsdaten über Modelltraining und Modellstruktur bis hin zu den vorgesehenen Anwendungsfällen -- einschließlich der Frage, wie, wann und von wem Entscheidungen in den Phasen der Bereitstellung, Nachbereitstellung oder Endnutzung getroffen wurden. Transparenz ist häufig Voraussetzung dafür, wirksame Korrekturmaßnahmen bei fehlerhaften oder nachteiligen Ergebnissen eines KI-Systems ergreifen zu können.

Erklärbarkeit und Interpretierbarkeit

Erklärbarkeit bezieht sich auf die Darstellung der Mechanismen, die dem Betrieb von KI-Systemen zugrunde liegen. Interpretierbarkeit hingegen betrifft die Bedeutung der Systemausgaben im Kontext der vorgesehenen Funktionszwecke. Zusammen ermöglichen beide Merkmale denjenigen, die ein KI-System betreiben oder überwachen, sowie den Nutzern tiefere Einblicke in Funktionsweise und Vertrauenswürdigkeit des Systems. Die zugrunde liegende Annahme ist, dass negative Risiken häufig auf eine mangelnde Fähigkeit zurückzuführen sind, die Systemausgaben angemessen zu verstehen oder einzuordnen. Erklärbare und interpretierbare KI-Systeme stellen Informationen bereit, die Endnutzern helfen, die Zwecke und möglichen Auswirkungen eines KI-Systems nachzuvollziehen. Risiken, die aus mangelnder Erklärbarkeit entstehen, lassen sich bewältigen, indem die Funktionsweise von KI-Systemen unter Berücksichtigung individueller Unterschiede wie Rolle, Wissen und Kenntnisstand der Nutzer beschrieben wird. Erklärbare Systeme lassen sich zudem leichter debuggen und überwachen und eignen sich besser für eine gründliche Dokumentation, Prüfung und Governance.

Datenschutz

Datenschutz bezieht sich allgemein auf die Normen und Praktiken, die zum Schutz der menschlichen Autonomie, Identität und Würde beitragen. In der Regel betreffen sie den Schutz vor Eingriffen in die Privatsphäre, die Einschränkung von Überwachung sowie das Recht des Einzelnen, der Offenlegung oder Kontrolle von Aspekten seiner Identität (z. B. Körper, Daten, Reputation) zuzustimmen oder sie abzulehnen. Datenschutzwerte wie Anonymität, Vertraulichkeit und Kontrolle sollten grundsätzlich die Entscheidungen bei Design, Entwicklung und Bereitstellung von KI-Systemen leiten. Datenschutzbezogene Risiken können sich auf Sicherheit, Bias-Vermeidung und Transparenz auswirken und erfordern entsprechende Abwägungen gegenüber diesen Merkmalen. Wie bei der Sicherheit können bestimmte technische Eigenschaften eines KI-Systems den Datenschutz stärken oder schwächen. Darüber hinaus können KI-Systeme neue Risiken für die Privatsphäre schaffen, indem sie die Identifizierung von Personen oder die Ableitung zuvor nicht zugänglicher Informationen ermöglichen.

Fairness

Fairness im Kontext von KI umfasst Fragen der Gleichheit und Gerechtigkeit und adressiert Probleme wie schädliche Vorurteile und Diskriminierung. Fairnessstandards können komplex und schwer zu definieren sein, da die Wahrnehmung von Fairness kulturell unterschiedlich ist und je nach Anwendungsfall variiert. Das Risikomanagement von Unternehmen profitiert davon, diese Unterschiede anzuerkennen und zu berücksichtigen. Systeme, in denen schädliche Vorurteile reduziert wurden, sind allerdings nicht zwangsläufig fair. So können etwa Systeme, deren Vorhersagen für verschiedene demografische Gruppen weitgehend ausgeglichen sind, dennoch für Menschen mit Behinderungen unzugänglich sein, durch die digitale Kluft beeinträchtigt werden oder bestehende Ungleichheiten sogar verschärfen.

Fazit

Das Artificial Intelligence Risk Management Framework (AI RMF 1.0) unterstützt Unternehmen beim Risikomanagement und bei der Einhaltung von Compliance-Anforderungen im Zusammenhang mit künstlicher Intelligenz. Es bietet eine strukturierte Methode, um Risiken bei der Implementierung von KI-Systemen zu identifizieren, zu bewerten und zu bewältigen. Das Framework umfasst Richtlinien für die Entwicklung, Implementierung und Überwachung von KI-Systemen sowie Werkzeuge zur Sicherstellung der Compliance. Damit ein KI-System als vertrauenswürdig gelten kann, muss es bestimmte Kriterien erfüllen: Validität und Zuverlässigkeit, Sicherheit, Widerstandsfähigkeit, Verantwortlichkeit und Transparenz, Erklärbarkeit und Interpretierbarkeit, Datenschutz und Fairness. Diese Merkmale bilden die Grundlage, um ein KI-System als vertrauenswürdig einstufen zu können.