Die Nutzung von KI, auch im Geschäftskontext, erfreut sich weiterhin hoher Beliebtheit. Auch wir berichten auf unserem Blog regelmäßig über Entwicklungen im Bereich Künstliche Intelligenz. Wie immer verbergen sich hinter neuen Technologien aber auch neue Gefahren – auch für den Datenschutz. Zwei davon im Zusammenhang mit Prompts versucht Microsoft in seinem Azure AI Service nun anzugehen.
Was sind Prompts?
Aber gehen wir erst einen Schritt zurück. Wenn man KI-Anwendungen nutzt, geschieht dies oft über die Eingabe in Dialogfenstern. Die vom User getätigten Eingaben, mit denen ein bestimmtes Handeln der KI ausgelöst werden soll, werden auch als “Prompts” bezeichnet. Die KI-Anwendung verarbeitet diese Prompts mit ihrem KI-Modell (z.B. Large Language Model), führt den zugrundeliegenden Befehl aus und performt einen Output. Hier liegt die Gefahr, die Microsoft nun in einem Blog (Link auf die externe Seite unter dem Beitrag) erklärt und Gegenmaßnahmen angekündigt hat. Konkret spricht Microsoft von zwei Bedrohungspotenzialen: “Direct Prompt Attacks” und “Indirect Prompt Attacks”.
Bedrohungspotenzial durch Prompts
Direct Prompt Attacks sind Prompts von Angreifern, die gezielt versuchen, das zugrundeliegende KI-Modell dermaßen zu verändern, dass es ein unerwünschtes Verhalten zeigt. Denkbar ist dadurch die Verbreitung von unrichtigen Informationen, deren Richtigkeit für User nicht nachvollziehbar sind.
Demgegenüber sind die sogenannten Indirect Prompt Attacks noch raffinierter. Bei diesen versuchen Angreifer, die Eingaben von Anwendern durch Hinzufügen bzw. Manipulieren von Prompts (indirekt) zu beeinflussen. Als Beispiel nennt Microsoft die Verwendung von Copilot für die Zusammenfassung von Mails. Angreifer könnten in ihren Mails zusätzlichen Text einbinden, sodass beim Verarbeiten durch die KI-Anwendung eine unerwünschte Handlung erzeugt. Laut Microsoft wäre es für die KI-Anwendung beinahe unmöglich (gewesen), hier keine Aufforderung in Form eines Prompts anzunehmen. So wäre denkbar, dass gezielt Accountinformationen oder Geschäftsgeheimnisse des Anwenders und seinem Mailpostfach gegenüber Angreifern offengelegt werden sollen.
Microsoft hat nun zusätzliche Maßnahmen ergriffen, die diese Art von Attacken adressieren und schwieriger machen sollen. Das existiert für Direct Prompt Attacks schon länger, weil sich hier bestimmte Muster aus den Prompts der Angreifer ableiten lassen. Mit dem sogenannten “Spotlight” will Microsoft jetzt auch Indirect Prompt Attacks ins Visier nehmen respektive den Schutz erweitern, indem die Verarbeitung von Prompts durch das KI-Modell ungewünschte Manipulationen erkennen und besser gegenüber gewollten Prompts abgrenzen können soll.
Auswirkungen auf den Datenschutz
Warum bestehen nun Gefahren für den Datenschutz? Beschränkte sich die Gefahr bei Direct Prompt Attacks noch vornehmlich auf das Vorhandensein unrichtiger personenbezogener Daten durch die Manipulation seitens der Angreifer, besteht durch Indirect Prompt Attacks eine Gefahr für die Vertraulichkeit personenbezogener Daten. Die Gefahr einer Offenlegung personenbezogener Daten gegenüber Dritten existiert nun nicht mehr durch eigene Prompts, die personenbezogene Daten enthalten, sondern können eben auch in anderen Medien und Dokumenten, sogar in Form von Accountinformationen, ins Ziel von Angreifern geraten.
Organisationen, die KI-Anwendungen einsetzen, sollten sich, neben den getroffenen Maßnahmen durch Microsoft, auch dieser Gefahren bewusst machen. Als Verantwortlicher im datenschutzrechtlichen Sinne sind es nämlich die Organisationen, die beim Einsatz von KI-Anwendungen geeignete technische und organisatorische Maßnahmen treffen müssen, um den Schutz personenbezogener Daten sicherzustellen. Wie bereits in unserem vorherigen Blogpost erwähnt, kann eine Datenschutzfolgeabschätzung bei der Implementierung einer KI-Anwendung in der Organisation erforderlich sein. Neue Erkenntnisse und Gefahren, wie sie hier von Microsoft erwähnt wurden, sollten sich dementsprechend auch in der Risikoabschätzung der Datenschutzfolgeabschätzung wiederfinden. Insofern ist eine Datenschutzfolgeabschätzung auch immer ein “lebendes” Dokument. Nicht zuletzt erst damit können geeignete technische und organisatorische Maßnahmen, wie zum Beispiel die Sensibilisierung von Mitarbeitenden, identifiziert und sichergestellt werden.
Genauso lohnt sich an dieser Stelle der Verweis auf die Einführung einer KI-Richtlinie für Organisationen. Je nach Organisationsbereich und Verwendung mag es ganz unterschiedliche Anforderungen an den Einsatz von KI-Anwendungen geben. Organisationen sollten deshalb mittels Richtlinien die “Spielregeln” für die Verwendung von KI für Geschäftszwecke festlegen. Sie haben Fragen dazu? Melden Sie sich gerne!
Link zur Techcommunity Microsoft
Link zu unserem Blogbeitrag Datenschutz und KI – Eine Betrachtung
