Datenschutz bei KI in SAP-Systemen prüfen

SAP-Systeme arbeiten naturgemäß mit großen Datenmengen. Doch die Menge allein ist mit Blick auf den Datenschutz nicht die größte Herausforderung für Anwenderunternehmen. Vielmehr besteht diese darin, dass die Systeme auf personenbezogene, sensible und besonders schutzwürdige Geschäftsdaten zugreifen können. Und das gilt dann zwangsläufig auch für KI-Funktionen in den SAP-Systemen. „Anwenderunternehmen müssen jederzeit nachvollziehen können, welche Daten zu welchem Zweck verarbeitet werden. Sie müssen wissen, ob eine Rechtsgrundlage besteht, wie Datenminimierung umgesetzt wird und ob Betroffenenrechte, Löschung sowie Zweckbindung gewährleistet sind“, sagt Beate Spickenheier, Sprecherin der Arbeitsgruppe Datenschutz im Arbeitskreis Revision/Risikomanagement. Besonders relevant sind KI-Funktionen, die Eingaben, Kontextinformationen, Nutzungsdaten oder Geschäftsdaten an externe Modelle, Cloud-Dienste oder Subprozessoren übermitteln. „Es braucht eine belastbare Transparenz über Datenflüsse, Rollenverteilung und Schutzmaßnahmen je konkretem KI-Anwendungsfall und organisatorische Regelungen“, so Spickenheier.

Datenschutz bei KI in SAP-Systemen: Transparenz als Grundlage

Um diese Transparenz baldmöglichst zu erreichen, hat die Arbeitsgruppe den Dialog mit SAP gesucht. „Der bisherige Austausch ist sehr konstruktiv. SAP adressiert die Themen Datenschutz, Responsible AI und Sicherheit aktiv. Doch aus Anwendersicht ist für uns entscheidend, dass wir die Diskussion jetzt stärker auf konkrete datenschutzrechtliche Prüffragen herunterbrechen“, sagt Spickenheier. Denn: Allgemeine Aussagen zu und Verweise auf Datenschutz-by-Design oder Responsible AI reichen oft nicht aus. Vielfach verlangen KI-Richtlinien in Unternehmen, dass vor einem produktiven KI-Einsatz Freigaben durch die Abteilungen IT bzw. Security, Datenschutz sowie Recht bzw. Compliance eingeholt werden. Zudem ist zu prüfen, ob eine Datenschutz-Folgenabschätzung erforderlich ist. Dafür benötigen Anwenderunternehmen verlässliche, produktbezogene und prüffähige Informationen des Anbieters. „. Diese Informationen müssen so konkret sein, dass Unternehmen ihre datenschutzrechtlichen, vertraglichen und internen Governance-Anforderungen belastbar prüfen können.

Welche Informationen Anwenderunternehmen konkret benötigen

Für eine fundierte datenschutzrechtliche Bewertung reicht eine allgemeine Produktbeschreibung nicht aus. Entscheidend sind detaillierte Informationen je KI-Funktion. Dazu gehören insbesondere die verarbeiteten Datenkategorien, die Zwecke der Verarbeitung, die eingesetzten Modelle, die Speicher- und Verarbeitungsorte, die Speicherdauer sowie die Lösch- und Sperrmechanismen. Ebenso wichtig ist, ob personenbezogene oder sensible Daten vor der Verarbeitung maskiert, pseudonymisiert, anonymisiert oder vollständig ausgeschlossen werden können. „Nur wenn das gegeben ist, können wir beurteilen, ob Datenschutzgrundsätze wie Rechtmäßigkeit, Transparenz, Zweckbindung, Datenminimierung, Integrität und Vertraulichkeit eingehalten werden“, erläutert Spickenheier.

Hinzu kommt: Viele Unternehmen unterscheiden in ihren Richtlinien zwischen öffentlichen, internen, vertraulichen und streng vertraulichen Daten. Gerade bei vertraulichen oder streng vertraulichen Informationen braucht es klare Vorgaben, ob und unter welchen Voraussetzungen eine Verarbeitung durch KI-Funktionen überhaupt zulässig ist. Das gilt z. B. bei nicht öffentlichen Geschäftsdaten, besonderen Kategorien personenbezogener Daten oder Zugangsdaten.

Weiterverwendung von Daten durch SAP und Drittanbieter klären

Bezogen auf die Weiterverwendung von Eingaben, Nutzungsdaten oder Geschäftsdaten durch SAP oder angebundene Drittanbieter ist daher relevant, ob Prompts, KI-Ausgaben, Nutzungsdaten, Metadaten oder Geschäftsdaten über den unmittelbaren Verarbeitungszweck hinaus durch SAP selbst oder andere genutzt werden. „Wir müssen wissen, ob Daten für Training, Fine-Tuning, Qualitätssicherung, Produktverbesserung, Monitoring oder andere Sekundärzwecke verwendet werden. Ebenso muss klar sein, ob und wie eine solche Weiterverwendung ausgeschlossen, konfiguriert oder vertraglich geregelt werden kann“, sagt Spickenheier. Aus Anwendersicht sollte nachvollziehbar geklärt sein, dass Kundendaten nicht ohne Rechtsgrundlage oder gesonderte Vereinbarung für Zwecke Dritter genutzt werden dürfen.

Auch aus Sicht interner KI-Governance ist das entscheidend. In der Praxis betrifft das insbesondere streng vertrauliche Daten, Zugangsdaten sowie personenbezogene oder geheimhaltungsbedürftige Informationen. Diese dürfen nur im zulässigen Rahmen verarbeitet und – soweit möglich – anonymisiert oder pseudonymisiert werden.

Externe KI-Dienste und Datenverarbeitung transparent machen

Damit nachvollziehbar ist, welche externen Dienste oder Anbieter in KI-Funktionen eingebunden sind und wo Daten verarbeitet bzw. gespeichert werden, braucht es eine Übersicht über alle externen Dienste, KI-Modelle, Cloud-Anbieter und Subprozessoren, die in eine konkrete SAP-KI-Funktion eingebunden sind. „Diese Übersicht sollte ausweisen, welche Datenkategorien an welchen Anbieter übermittelt werden, in welcher Rolle dieser tätig wird, in welchem Land oder welcher Region die Verarbeitung erfolgt und welche Schutzmaßnahmen für internationale Datentransfers gelten“, konkretisiert die Expertin. Wichtig sei zudem zu wissen, ob Anwenderunternehmen Einfluss auf Modellanbieter, Verarbeitungsregionen oder die Aktivierung einzelner KI-Funktionen nehmen können.

„Aus Unternehmenssicht ist diese Transparenz auch deshalb notwendig, weil interne Betreiber von KI-Systemen Zweck, Datenflüsse, Datenkategorien, Empfänger:innen, Speicherorte und Aufbewahrungsfristen oftmals dokumentieren müssen“, so Spickenheier. Ebenso müssten sie Verfahren für Monitoring, Incident- und Change-Management sowie klare Zuständigkeiten und Eskalationswege etablieren. Doch ohne entsprechende Informationen von SAP und eingebundenen Drittanbietern können diese Pflichten praktisch kaum erfüllt werden.

Technische und organisatorische Schutzmaßnahmen definieren

Auch im Hinblick auf die technischen und organisatorischen Schutzmaßnahmen besteht aus DSAG-Sicht weiterer Informationsbedarf. Einerseits muss die Rollen- und Verantwortungsverteilung zwischen SAP, Kundenunternehmen und möglichen Drittanbietern klar sein. „Als Kunden müssen wir ganz genau wissen, welche technischen und organisatorischen Maßnahmen SAP bietet und welche Pflichten wir haben“, so Spickenheier. Relevant sind insbesondere Berechtigungskonzepte, Mandantentrennung, Verschlüsselung, Protokollierung, Zugriffskontrollen, Löschkonzepte, Incident-Prozesse und Nachweismöglichkeiten. Andererseits muss sichergestellt sein, dass KI-Funktionen bestehende SAP-Berechtigungen respektieren. Sie dürfen keine zusätzlichen, für Nutzer:innen oder Administrator:innen intransparenten Datenzugriffe ermöglichen.

Auf technischer und organisatorischer Ebene stellt sich daher die Frage, welche Schutzmechanismen SAP bereits systemseitig unterstützt und welche Maßnahmen im Kundenunternehmen umgesetzt werden müssen. Dazu zählen etwa das Need-to-know-Prinzip, wiederholte Rechte-Reviews, Sicherheits- und Datenschutzprüfungen sowie Vorkehrungen gegen Datenabfluss, Halluzinationen, Bias und unkontrollierte Automatisierung.

KI-Ergebnisse nachvollziehbar und auditierbar machen

Ein weiterer zentraler Aspekt, der aus Sicht der DSAG-Arbeitsgruppe datenschutzrechtlich eine Rolle spielt, ist die Frage, inwiefern KI-Ergebnisse nachvollziehbar sind – insbesondere, wenn personenbezogene Daten Grundlage oder Gegenstand der Verarbeitung sind. „Wir müssen verstehen können, auf welchen Daten, Quellen und Modellen ein Ergebnis beruht und welche Annahmen oder Einschränkungen damit verbunden sind“, fasst Spickenheier zusammen. Konkret bedeutet das für Prozesse mit Personenbezug, etwa in HR, Compliance, Einkauf oder Finance: Es braucht klare Informationen zu menschlicher Kontrolle, Fehleranfälligkeit, Bias-Risiken, Protokollierung und Auditierbarkeit. Andernfalls können Unternehmen nicht beurteilen, ob KI-Ergebnisse rechtssicher verwendet werden können und ob zusätzliche Prüf- oder Freigabeschritte erforderlich sind.

Drei zentrale Datenschutzfragen an SAP

Aus DSAG-Sicht sollte SAP daher nun vorrangig die folgenden drei Fragen beantworten:

1. Welche personenbezogenen, sensiblen oder geschäftskritischen Daten werden bei jeder konkreten KI-Funktion verarbeitet, gespeichert, protokolliert oder weitergegeben?
2. Welche externen Anbieter, Modelle oder Subprozessoren sind eingebunden, wo erfolgt die Verarbeitung und welche Schutzmaßnahmen greifen insbesondere bei Drittlandtransfers?
3. Wie stellt SAP nachweisbar sicher, dass Kundendaten nicht ohne klare Rechtsgrundlage für Training, Produktverbesserung oder Zwecke Dritter verwendet werden und dass Löschung, Berechtigungen, Transparenz und Auditierbarkeit gewährleistet sind?

Schulterschluss für vertrauenswürdige KI in SAP-Systemen

„Gerade weil KI in SAP-Systemen großes Potenzial für Anwenderunternehmen bietet, ist ein enger Schulterschluss zwischen DSAG und SAP an dieser Stelle besonders wichtig“, fasst Spickenheier zusammen. Nur wenn Datenschutz, Transparenz und technische Umsetzbarkeit gemeinsam gedacht werden, können KI-Funktionen in der Praxis verantwortungsvoll, rechtskonform und mit Vertrauen genutzt werden. DSAG und SAP stehen daher weiterhin im konstruktiven Austausch – mit dem gemeinsamen Ziel, Innovation zu ermöglichen und zugleich die Anforderungen der Anwenderunternehmen nachvollziehbar und rechtskonform abzusichern.