Die britische Datenschutzbehörde ICO (Information Commissioner’s Office) hat als erste Aufsichtsbehörde weltweit einen formellen Risikobericht zu autonomen KI-Agenten vorgelegt. Der Tech Futures: Agentic AI Report, veröffentlicht im März 2025, benennt acht konkrete Bereiche, in denen autonome KI-Agenten mit geltendem Datenschutzrecht kollidieren. Die brisanteste Erkenntnis: Wenn Agent A eine halluzinierte Ausgabe an Agent B weitergibt, der sie an Agent C weiterleitet, entsteht eine Fehlerkaskade, die unter bestehenden Rechenschaftsrahmen praktisch nicht mehr nachvollziehbar ist.
Das betrifft nicht nur das Vereinigte Königreich. Die UK GDPR ist nahezu wortgleich mit der EU-DSGVO. Das Verantwortlicher-Auftragsverarbeiter-Modell ist identisch. Wenn die ICO feststellt, dass Agentic AI grundlegende Spannungen mit Datenschutzprinzipien erzeugt, gelten dieselben Spannungen unter der DSGVO, dem BDSG und jeder nationalen Umsetzung.
Was die ICO konkret festgestellt hat: Acht Risikobereiche
Die ICO behandelt Agentic AI nicht als einheitliche Risikokategorie. Der Bericht unterscheidet acht spezifische Bereiche, in denen autonome Agenten Datenschutzprobleme erzeugen, die bei herkömmlichen KI-Systemen nicht auftreten.
Kaskadierende Fehler und unvorhersehbare Ergebnisse
Diesem Risiko widmet die ICO den größten Teil ihrer Analyse. In Multi-Agent-Systemen wird die Ausgabe eines Agenten zur Eingabe des nächsten. Halluziniert der erste Agent einen Datenpunkt, behandelt der zweite Agent diesen als Tatsache und baut darauf auf. Der dritte Agent verstärkt den Fehler weiter.
Die ICO-Kritik richtet sich konkret an die Rückverfolgbarkeit. Nach der UK GDPR (und der DSGVO) müssen Verantwortliche erklären können, wie personenbezogene Daten verarbeitet wurden und warum eine bestimmte Entscheidung getroffen wurde. Wenn Fehler über drei oder vier Agenten kaskadieren, wobei jeder seine eigene Schlussfolgerungsschicht hinzufügt, wird die Rekonstruktion der Ursachenkette zur forensischen Übung. Die meisten Unternehmen verfügen nicht über die Logging-Infrastruktur, um das überhaupt zu versuchen.
Ein konkretes Beispiel: Microsofts Copilot for Security verkettet spezialisierte Agenten: einer sammelt Bedrohungsinformationen, ein zweiter korreliert Logs, ein dritter empfiehlt Maßnahmen. Identifiziert der erste Agent eine harmlose IP-Adresse fälschlicherweise als bösartig, findet der Korrelationsagent scheinbar bestätigende Muster, und der Empfehlungsagent schlägt vor, legitimen Datenverkehr zu blockieren. Jeder Agent hat korrekt gearbeitet, gemessen an seinen Eingaben. Das Systemergebnis ist trotzdem falsch.
Zweckbindung und Zweckentfremdung
Artikel 5 Abs. 1 lit. b DSGVO verlangt, dass personenbezogene Daten für “festgelegte, eindeutige und legitime Zwecke” erhoben werden. Die ICO stuft Agentic AI als direkte Herausforderung für dieses Prinzip ein.
Der Grund: Agenten passen sich an. Ein KI-Agent im Kundenservice könnte eigenständig beschließen, Kaufhistorie, Bonitätsdaten oder Social-Media-Aktivitäten abzurufen, um eine Beschwerde besser zu bearbeiten. Jeder einzelne Zugriff mag isoliert betrachtet vernünftig erscheinen. Aber der ursprüngliche Zweck, die Bearbeitung eines Support-Tickets, umfasste keine Bonitätsbewertung oder Social-Media-Analyse. Der Agent hat seinen Auftrag überschritten, ohne dass es jemand bemerkt hat.
Die ICO formuliert explizit: Agenten mit breiten Zielvorgaben können “Anweisungen so interpretieren, dass die Datenverarbeitung über den ursprünglichen Rahmen hinausgeht.” Das ist kein Fehler des Agenten. Der Agent tut genau das, wofür er gebaut wurde: ein Ziel adaptiv verfolgen. Der Konflikt ist strukturell.
Rollenverwechslung zwischen Verantwortlichem und Auftragsverarbeiter
Dieser Abschnitt enthält die innovativste Analyse der ICO, und die, die Rechtsabteilungen die größten Kopfschmerzen bereiten wird.
In herkömmlichen Softwaresystemen ist die Identifizierung von Verantwortlichem (der die Zwecke und Mittel der Verarbeitung festlegt) und Auftragsverarbeiter (der Daten im Auftrag des Verantwortlichen verarbeitet) relativ einfach. Das Unternehmen, das das System einsetzt, ist der Verantwortliche. Der Cloud-Anbieter ist der Auftragsverarbeiter.
Agentic AI sprengt dieses Modell. Ein Multi-Agent-Reisebuchungssystem als Beispiel: Ein Agent bearbeitet Flüge (Airline-API-Anbieter), ein zweiter Hotels (Hotel-Plattform GmbH), ein dritter orchestriert den Workflow (Einsatzunternehmen AG). Jeder Agent verarbeitet die personenbezogenen Daten des Reisenden. Aber wer ist der Verantwortliche?
Die fünf Kernaussagen der ICO:
1. Das einsetzende Unternehmen ist in der Regel der Verantwortliche, auch wenn es die spezifische Logik des Agenten nicht versteht. Die Delegation von Entscheidungen an einen KI-Agenten delegiert nicht die datenschutzrechtliche Verantwortlichkeit.
2. KI-Anbieter können gemeinsam Verantwortliche werden, wenn sie die Mittel der Verarbeitung bestimmen, etwa durch Trainingsdaten oder Reasoning-Architektur. Die Implikation ist klar: OpenAI, Anthropic und Google könnten bei Enterprise-Agent-Deployments als gemeinsam Verantwortliche eingestuft werden.
3. Ein Agent als Auftragsverarbeiter kann “eigenmächtig handeln.” Durch autonomes Verhalten könnte er beginnen, eigene Verarbeitungszwecke zu bestimmen, und faktisch zum Verantwortlichen werden, ohne dass dies beabsichtigt war.
4. Auftragsverarbeitungsverträge müssen Autonomie berücksichtigen. Standardverträge (AVV) gehen davon aus, dass der Auftragsverarbeiter den Weisungen des Verantwortlichen folgt. Wenn der Auftragsverarbeiter ein autonomer Agent ist, der von Weisungen abweichen kann, braucht der Vertrag Regelungen für diesen Fall.
5. Datenfluss-Mapping vor dem Einsatz ist Pflicht. Unternehmen müssen jeden Datenfluss über alle Agenten und Tools im System dokumentieren, bevor sie produktiv gehen.
Vergleich mit EU AI Act und DSGVO
Der ICO-Bericht ist eine Leitlinie, kein Gesetz. Er interpretiert bestehende UK-GDPR-Prinzipien für eine neue Technologie. Der EU AI Act verfolgt einen grundlegend anderen Ansatz: Er klassifiziert KI-Systeme nach Risikostufen und legt spezifische Pflichten für Anbieter und Betreiber fest.
Wo der EU AI Act ganze Domänen als hochriskant einstuft (Beschäftigung, Kreditbewertung, Strafverfolgung, Migration), fragt die ICO nach den spezifischen Fähigkeiten jedes einzelnen Agenten. Ein HR-Agent, der Stellenbeschreibungen entwirft, hat ein anderes Risikoprofil als einer, der Bewerber aussortiert. Der ICO-Ansatz ist granularer, aber weniger normativ.
Für DACH-Unternehmen ergibt sich ein mehrschichtiges Compliance-Bild:
| Rahmenwerk | Reichweite | Ansatz | Status |
|---|---|---|---|
| UK GDPR + ICO-Leitlinie | Nur Datenschutz | Prinzipienbasiert, freiwillig | Veröffentlicht März 2025 |
| EU-DSGVO | Nur Datenschutz | Rechtsverbindlich, Durchsetzung durch Aufsichtsbehörden | In Kraft seit 2018 |
| EU AI Act | KI-Sicherheit + Grundrechte | Risikobasiert, rechtsverbindlich | Hochrisiko-Pflichten ab August 2026 |
| BDSG | Nationale Datenschutz-Ergänzung | Spezifische Regeln zu automatisierten Entscheidungen | In Kraft |
Die praktische Konsequenz: Wer KI-Agenten einsetzt, die personenbezogene Daten in der EU verarbeiten, muss alle anwendbaren Schichten einhalten. Die ICO-Analyse, wie Agentic AI Datenschutzprinzipien herausfordert, gilt unter der DSGVO genauso. Der EU AI Act fügt zusätzliche Pflichten hinzu.
Die sieben Empfehlungen der ICO und was sie praktisch bedeuten
1. Datenschutz-Folgenabschätzung vor jedem Agentic-AI-Einsatz
Die ICO hält Agentic-AI-Deployments für schwellenwertüberschreitend im Sinne der Pflicht zur Datenschutz-Folgenabschätzung (DSFA) nach Artikel 35 UK GDPR. Das ist keine optionale Empfehlung. Unter der EU-DSGVO gilt Artikel 35 identisch, und der BfDI hat eine eigene Liste von Verarbeitungstätigkeiten veröffentlicht, die eine DSFA erfordern. Autonome KI-Agenten dürften in den meisten Fällen darunter fallen.
2. Datenflussdokumentation über alle Agenten und Tools
Vor dem Einsatz muss dokumentiert werden, welche personenbezogenen Daten jeder Agent zugreift, wohin er sie sendet, welche Tools er aufruft und welche Drittanbieter-APIs er nutzt. Bei einem Multi-Agent-System mit zehn Agenten und dreißig Tool-Integrationen ist das ein erheblicher Dokumentationsaufwand. Aber ohne diese Dokumentation lässt sich die grundlegende Compliance-Frage nicht beantworten: “Wo gehen die personenbezogenen Daten hin?”
3. Auftragsverarbeitungsverträge an Autonomie anpassen
Standardmäßige AVV nach Artikel 28 DSGVO wurden nicht für autonome Systeme geschrieben. Die ICO empfiehlt, sie um Regelungen für das autonome Verhalten von Agenten zu ergänzen, einschließlich Bestimmungen für den Fall, dass ein Agent außerhalb seiner erwarteten Parameter handelt.
4. Sinnvolle menschliche Aufsicht an Entscheidungspunkten
“Sinnvoll” ist das Schlüsselwort. Die ICO warnt explizit vor Schein-Aufsicht, bei der ein Mensch technisch gesehen Agenten-Entscheidungen prüft, aber weder Zeit, Kontext noch Befugnis hat, sie tatsächlich zu korrigieren. Wer 500 Agenten-Entscheidungen pro Stunde absegnet, betreibt keine Aufsicht.
5. Transparenz von Anfang an einbauen
Datenschutzerklärungen müssen Betroffene darüber informieren, wie ihre Daten verarbeitet werden. Wenn das System selbst nicht vorhersagen kann, wie es Daten verarbeiten wird (weil Agenten sich anpassen), wird die Datenschutzerklärung zum Annäherungsdokument. Die ICO empfiehlt, Erklärbarkeit in die Systemarchitektur einzubauen, nicht nachträglich aufzusetzen.
6. Datenminimierung durchsetzen
Jeder Agent soll nur auf die Daten zugreifen, die er für seine spezifische Aufgabe braucht. Ein Agent für Rechnungsanfragen braucht keinen Zugriff auf Supporthistorie, Social-Media-Aktivitäten oder demografische Profile. Technisch ist das über API-Berechtigungen und Token-Scoping lösbar, organisatorisch aber schwierig, wenn Agenten eine gemeinsame Datenschicht nutzen.
7. Agentenverhalten kontinuierlich überwachen
Nicht nur zum Zeitpunkt des Einsatzes. Kontinuierlich. Die ICO weist auf Drift hin, bei dem sich das Verhalten eines Agenten über die Zeit ändert, weil sich die Daten ändern, auf denen er arbeitet. Einmalige Bewertungen erfassen dieses Risiko nicht.
Was das für Unternehmen bedeutet, die jetzt KI-Agenten einsetzen
Der ICO-Bericht ist freiwillige Leitlinie. Niemand wird dafür bestraft, ihn zu ignorieren. Aber er signalisiert, wohin die Aufsichtspraxis steuert. Wenn die britische Datenschutzbehörde sagt, Multi-Agent-Systeme erzeugen “grundlegende Herausforderungen” für die Bestimmung von Verantwortlichen und Auftragsverarbeitern, werden europäische Aufsichtsbehörden ähnliche Positionen einnehmen.
Drei konkrete Schritte für jedes Unternehmen, das KI-Agenten in der EU oder im Vereinigten Königreich betreibt:
Agenten-Bestand aufnehmen. Datenschutzanforderungen, die man nicht sehen kann, kann man nicht erfüllen. Jeden Agenten dokumentieren, jeden Datenfluss, jede Tool-Integration. Das ist die Grundlage für alles Weitere.
AVV aktualisieren. Wenn die Auftragsverarbeitungsverträge mit KI-Anbietern kein autonomes Agentenverhalten adressieren, haben sie eine Lücke. Regelungen für Abweichung von Weisungen, unbeabsichtigten Datenzugriff und Rollenallokation ergänzen.
Audit-Trails aufbauen. Das Problem kaskadierender Fehler ist nur lösbar, wenn die Kette nachvollziehbar ist. Jede Agenten-Eingabe, jede Ausgabe, jeden Tool-Aufruf, jeden Datenzugriff protokollieren. So speichern, dass Entscheidungsketten über mehrere Agenten rekonstruierbar sind.
Der BfDI, die CNIL und der Europäische Datenschutzausschuss haben noch keine vergleichbare Leitlinie zu Agentic AI veröffentlicht. Aber das zugrundeliegende Recht ist dasselbe. Die ICO hat lediglich ausgesprochen, was jeder Datenschutzbeauftragte, der KI-Agenten betreut, bereits vermutet hat: Bestehende Rahmenwerke wurden nicht für Systeme entwickelt, die autonome Entscheidungen treffen, mehrere Tools verketten und Daten auf Weisen verarbeiten, die ihre Betreiber nicht vollständig vorhersagen können.
Häufig gestellte Fragen
Was ist der ICO Tech Futures Bericht zu Agentic AI?
Der ICO Tech Futures: Agentic AI Bericht, veröffentlicht im März 2025, ist die erste formelle Bewertung einer Datenschutzbehörde weltweit, wie autonome KI-Agenten bestehende Datenschutzrahmenwerke herausfordern. Er identifiziert acht spezifische Risikobereiche, darunter kaskadierende Fehler, Zweckentfremdung und Rollenverwechslung zwischen Verantwortlichen und Auftragsverarbeitern in Multi-Agent-Systemen.
Wer ist der Verantwortliche, wenn mehrere KI-Agenten personenbezogene Daten verarbeiten?
Laut ICO ist das einsetzende Unternehmen in der Regel der Verantwortliche, auch wenn es die Logik des Agenten nicht versteht. KI-Anbieter können gemeinsam Verantwortliche sein, wenn sie die Mittel der Verarbeitung bestimmen. In manchen Fällen kann ein autonomer Agent als Auftragsverarbeiter faktisch zum Verantwortlichen werden, indem er eigene Verarbeitungszwecke bestimmt.
Gilt die ICO-Leitlinie zu Agentic AI auch für Unternehmen in der EU?
Die ICO-Leitlinie gilt unmittelbar nur im Vereinigten Königreich. Da die UK GDPR jedoch fast wortgleich mit der EU-DSGVO ist, gelten die festgestellten Spannungen zwischen Agentic AI und Datenschutzprinzipien unter EU-Recht genauso. Dieselben Probleme bei Verantwortlichkeit und Zweckbindung bestehen unter beiden Rahmenwerken.
Ist eine Datenschutz-Folgenabschätzung für KI-Agenten Pflicht?
Die ICO hält Agentic-AI-Einsätze für schwellenwertüberschreitend im Sinne der DSFA-Pflicht nach Artikel 35. Das gilt unter UK GDPR und EU-DSGVO gleichermaßen. Der BfDI führt eine eigene Liste von Verarbeitungstätigkeiten, die eine DSFA erfordern, und autonome KI-Agentenverarbeitung dürfte in den meisten Fällen darunter fallen.
Was sind kaskadierende Halluzinationen in Multi-Agent-KI-Systemen?
Kaskadierende Halluzinationen entstehen, wenn ein KI-Agent eine halluzinierte oder fehlerhafte Ausgabe erzeugt, die zur Eingabe eines anderen Agenten wird. Der zweite Agent behandelt den Fehler als Tatsache und baut darauf auf, wodurch der Fehler verstärkt wird. In Multi-Agent-Ketten pflanzen sich solche Fehler über drei oder mehr Agenten fort und werden extrem schwer nachvollziehbar oder korrigierbar.