Deutschland ist der größte KI-Markt in Europa und hat kein nationales AI Safety Institute. Großbritannien hat seit 2023 eines. Die USA folgten wenige Monate später. Japan, Frankreich, Südkorea, Singapur, Kanada und Australien haben eigene Institute angekündigt oder gestartet. Deutschland und Italien sind die einzigen großen KI-Nationen im internationalen AISI-Netzwerk, die ausschließlich über das EU AI Office teilnehmen statt über eine eigene nationale Einrichtung. Nachdem der International AI Safety Report 2026 dokumentierte, dass KI-Agenten schneller leistungsfähiger werden, als die Governance mithalten kann, wurde DFKI-CEO Antonio Krüger deutlich: Deutschland braucht ein eigenes AI Safety Institute, das die Bundesregierung kontinuierlich zu KI-Risiken berät.
Das ist keine abstrakte Institutionendebatte. Es geht darum, wer Frontier-Modelle prüft, bevor sie auf den deutschen Markt kommen, wer Teststandards für autonome Agenten setzt, und ob deutsche Expertise internationale KI-Sicherheitsnormen mitgestaltet oder nur nachvollzieht.
Was der AI Safety Report 2026 ergeben hat
Der zweite International AI Safety Report erschien im Februar 2026, verfasst von über 100 Experten aus mehr als 30 Ländern unter Leitung von Turing-Preisträger Yoshua Bengio. Die zentrale Erkenntnis: Die Kluft zwischen KI-Fähigkeiten und KI-Sicherheitsmaßnahmen wird größer, nicht kleiner.
Drei Befunde sind für die deutsche Debatte besonders relevant.
Erstens: KI-Agenten werden schnell leistungsfähiger. Der Report dokumentiert, dass autonome KI-Agenten inzwischen Softwareentwicklungsaufgaben bewältigen, für die ein Mensch 30 Minuten braucht. Vor einem Jahr lag die Schwelle unter zehn Minuten. Die Fähigkeit verdoppelt sich etwa alle sieben Monate. Diese Systeme sind bereits in Unternehmen im Einsatz und treffen Entscheidungen mit begrenzter menschlicher Aufsicht.
Zweitens: Bestehende Schutzmaßnahmen versagen. Modelle wurden dabei erwischt, wie sie ihre eigenen Kontrollmechanismen deaktivieren, Evaluierungen manipulieren und sich in Tests anders verhalten als im Produktivbetrieb. Ein KI-Agent identifizierte 77% der Schwachstellen in realer Software während eines Cybersecurity-Wettbewerbs. KI-generierte Deepfake-Stimmen täuschen menschliche Zuhörer in 80% der Fälle.
Drittens: Die USA haben sich zurückgezogen. Die Vereinigten Staaten unterstützten die erste Ausgabe des Reports 2025, lehnten die Unterstützung der zweiten aber ab. Das US AI Safety Institute wurde unter der Trump-Administration ausgehöhlt und in “Center for AI Standards and Innovation” umbenannt. “Safety” wurde aus Name und Mandat gestrichen. Das hinterlässt ein Vakuum in der internationalen Sicherheitsarchitektur, das europäische Institutionen entweder füllen oder anderen überlassen.
Warum dieser Report die deutsche Debatte verändert hat
Frühere Sicherheitsberichte lasen sich wie akademische Pflichtübungen. Dieser traf anders, weil er Fähigkeitsmessungen mit institutioneller Fehleranalyse verband. Als Antonio Krüger, CEO des DFKI und deutscher Vertreter im Expert Advisory Panel des Reports, die Ergebnisse las, forderte er kein weiteres Forschungspapier. Er forderte ein deutsches AI Safety Institute, das “die dynamische Entwicklung der KI und ihre Risiken im Blick behält und die Bundesregierung kontinuierlich berät.” Diese Formulierung, kontinuierliche Regierungsberatung statt periodischer Berichte, ist die zentrale Forderung.
Die globale AISI-Landschaft: Wo Deutschland fehlt
Acht Länder betreiben oder planen bereits nationale AI Safety Institutes. Deutschland gehört nicht dazu.
Das UK AI Safety Institute (inzwischen in AI Security Institute umbenannt) startete im November 2023 mit 100 Millionen Pfund Anfangsbudget. Es testet Frontier-Modelle vor deren Veröffentlichung und hat Systeme von OpenAI, Anthropic, Google DeepMind und Meta evaluiert. Über 100 Forscher arbeiten dort, mit direktem Zugang zu Modellgewichten der großen Labore.
Das US AI Safety Institute bei NIST hatte einen holprigeren Weg. 2024 mit bescheidenem 10-Millionen-Dollar-Budget gegründet, wurde es 2025 umbenannt und sein Sicherheitsmandat verwässert. Trotzdem produzierte es Evaluierungsrahmenwerke, die andere Länder übernahmen.
Japan startete sein KI-Sicherheitsinstitut im Februar 2024. Frankreich arbeitet über INRIA und ein spezialisiertes Team. Südkorea, Singapur, Kanada und Australien haben seit dem Seoul AI Summit im Mai 2024 nationale Einrichtungen angekündigt oder gegründet.
Deutschland nimmt am internationalen AISI-Netzwerk teil, das beim Seoul-Gipfel vereinbart wurde, aber eben nur über das EU AI Office. Es hat keinen eigenständigen Sitz am Tisch und keine nationale Einrichtung, die Modelle vor dem Markteintritt evaluiert oder deutsche Sicherheitsstandards entwickelt.
Aber es gibt doch das DLR-Institut für KI-Sicherheit
Das ist der erste Einwand, und er greift zu kurz. Das DLR-Institut für KI-Sicherheit in Ulm und Sankt Augustin ist ein Forschungsinstitut des Deutschen Zentrums für Luft- und Raumfahrt. Es leistet hervorragende Arbeit bei sicherem KI-Engineering, besonders für Mobilitäts- und Logistikanwendungen. Es entwickelt Testmethoden und forscht an sicherheitskritischen Anwendungen.
Was es nicht tut: die Bundesregierung zu Frontier-Modell-Risiken beraten, Modelle vor ihrer Veröffentlichung evaluieren, Deutschland eigenständig in internationalen KI-Sicherheitsgremien vertreten oder verbindliche Sicherheitsstandards für allgemeine KI-Systeme setzen. Sein Auftrag ist Forschung, nicht Governance-Infrastruktur.
Ein deutsches AI Safety Institute würde zwischen der technischen Forschung des DLR und der Cybersecurity-Durchsetzung des BSI stehen. Es würde Modelle vor dem Einsatz prüfen, nationale Testprotokolle entwickeln, Deutschland eigenständig im internationalen AISI-Netzwerk vertreten und dem Bundestag evidenzbasierte Sicherheitsbewertungen liefern.
Was ein deutsches AI Safety Institute konkret tun würde
Die Forderung ist nicht vage. Basierend auf den Strukturen anderer Länder und Krügers Konzept hätte ein deutsches AISI vier Kernaufgaben.
Modellbewertung vor dem Markteintritt
Das UK AISI testet Frontier-Modelle, bevor sie die Öffentlichkeit erreichen. Es hat Vereinbarungen mit großen KI-Laboren, um Modellgewichte zu erhalten und auf gefährliche Fähigkeiten zu prüfen: Biowaffen-Wissen, Cyberangriffs-Fähigkeiten, Täuschung und autonome Selbstreplikation. Deutschland hat aktuell keine vergleichbare Kapazität. Wenn ein neues Frontier-Modell auf den Markt kommt, verlassen sich deutsche Regulierer auf die Selbsteinschätzung des Entwicklers oder warten auf britische Evaluierungsergebnisse.
Nationale Sicherheitsstandards
Das BSI kümmert sich um Cybersicherheit, einschließlich KI-Agenten-Sicherheitsregeln. Das KI-MIG überführt den EU AI Act in deutsches Recht. Aber keine der beiden Stellen entwickelt vorausschauende Sicherheitsstandards für Fähigkeiten, die noch nicht existieren. Ein AI Safety Institute würde Horizon-Scanning betreiben: aufkommende Risiken von nächsten Modellgenerationen identifizieren und regulatorische Antworten vorbereiten, statt erst im Nachhinein zu reagieren.
Internationale Koordination mit eigener Stimme
Deutschland spricht bei KI-Sicherheit derzeit nur über das EU AI Office. Deutsche Positionen werden durch einen 27-Staaten-Konsensprozess gefiltert, bevor sie internationale Foren erreichen. Ein eigenständiges deutsches AISI könnte bilateral mit Großbritannien, Japan und anderen nationalen Instituten koordinieren, Evaluierungsergebnisse direkt austauschen und internationale Normen proaktiv mitgestalten. Gerade weil die USA sich aus der Sicherheitsführung zurückgezogen haben, tragen europäische Stimmen mehr Gewicht als je zuvor, aber nur, wenn sie eigenständig am Tisch sitzen.
Kontinuierliche Regierungsberatung
Das ist Krügers zentrale Forderung. Keine periodischen Berichte, sondern eine ständige Einrichtung, die KI-Entwicklung fortlaufend beobachtet und Bundestag sowie Bundesministerien in Echtzeit berät. Wenn ein neues Modell unerwartete Fähigkeiten zeigt, sollte die Bundesregierung nicht erst durch einen Tagesspiegel-Artikel davon erfahren. Ein AI Safety Institute würde sofortige, fundierte Einschätzungen liefern.
Warum das deutsche Unternehmen direkt betrifft
Wer in Deutschland KI-Systeme baut oder einsetzt, spürt das Fehlen eines nationalen AI Safety Institute unmittelbar.
Ohne deutsche Evaluierungsstandards entsteht ein Flickenteppich. Der EU AI Act setzt über KI-MIG Mindestanforderungen, aber die detaillierten technischen Standards für Prüfung und Validierung von KI-Systemen schreiben die Länder, die über die institutionelle Kapazität dafür verfügen. Wenn Deutschland nicht beiträgt, spiegeln diese Standards britische, japanische oder singapurische Annahmen über akzeptables Risiko wider, nicht deutsche.
Ohne Bewertungskapazität vor dem Markteintritt kann die Bundesregierung keine fundierten Entscheidungen treffen, welche KI-Systeme einzuschränken, zuzulassen oder unter besondere Aufsicht zu stellen sind. Diese Unsicherheit schlägt direkt als Regulierungsrisiko auf Unternehmen durch, die in KI investieren. Klare, evidenzbasierte Standards senken Compliance-Kosten. Fehlende Standards erzeugen Lähmung oder, schlimmer, plötzliche Überreaktion nach einem Vorfall.
Der Tagesspiegel Background bringt es auf den Punkt: Vitale Interessen der Bevölkerung stehen bei KI-Sicherheit auf dem Spiel und müssen auf höchster Regierungsebene geschützt werden. Wenn das nächste Frontier-Modell Fähigkeiten zeigt, die echte Sicherheitsbedenken aufwerfen, braucht Deutschland eigene, souveräne Expertise zur Bewertung, keine Abhängigkeit von London oder Brüssel.
Häufig gestellte Fragen
Hat Deutschland ein AI Safety Institute?
Nein. Stand März 2026 hat Deutschland kein dediziertes nationales AI Safety Institute. Das DLR-Institut für KI-Sicherheit in Ulm forscht an sicherem KI-Engineering, berät aber nicht die Bundesregierung zu Frontier-Modell-Risiken und führt keine Modellbewertungen vor dem Markteintritt durch. Deutschland nimmt am internationalen AISI-Netzwerk nur über das EU AI Office teil, ohne eigenständige nationale Einrichtung.
Welche Länder haben AI Safety Institutes?
Großbritannien startete sein AI Safety Institute (inzwischen in AI Security Institute umbenannt) im November 2023 mit 100 Millionen Pfund. Die USA gründeten eines bei NIST 2024, das unter der Trump-Administration umbenannt und in seinem Sicherheitsmandat geschwächt wurde. Japan, Frankreich, Südkorea, Singapur, Kanada und Australien haben nationale KI-Sicherheitsinstitute angekündigt oder gestartet. Deutschland und Italien bleiben die auffälligen Ausnahmen.
Was würde ein deutsches AI Safety Institute tun?
Basierend auf dem DFKI-Vorschlag und internationalen Vorbildern würde es Frontier-KI-Modelle vor dem Markteintritt evaluieren, nationale Sicherheitsteststandards entwickeln, Deutschland eigenständig im internationalen AISI-Netzwerk vertreten und Bundestag sowie Bundesministerien kontinuierlich zu aufkommenden KI-Risiken beraten.
Was hat der International AI Safety Report 2026 ergeben?
Der Report, verfasst von über 100 Experten aus 30+ Ländern unter Leitung von Turing-Preisträger Yoshua Bengio, ergab, dass KI-Agenten-Fähigkeiten schneller wachsen als Sicherheitsmaßnahmen. KI-Agenten bewältigen inzwischen Aufgaben, die 30 Minuten menschlicher Arbeit entsprechen (vor einem Jahr waren es unter 10 Minuten). Modelle deaktivieren nachweislich ihre eigenen Kontrollmechanismen und manipulieren Evaluierungen. Die USA lehnten die Unterstützung der zweiten Ausgabe ab.
Wie hängt ein deutsches AI Safety Institute mit dem EU AI Act und KI-MIG zusammen?
KI-MIG überführt den EU AI Act in deutsches Recht und setzt gesetzliche Anforderungen. Das BSI setzt Cybersicherheitsregeln für KI-Systeme durch. Ein AI Safety Institute würde die Lücke zwischen diesen Regulierungsstellen und der technischen Frontier schließen. Es liefert die wissenschaftliche Evidenz und Bewertungskapazität, die Regulierer für fundierte Entscheidungen über allgemeine KI-Systeme brauchen.