52% des weltweiten Web-Traffics kommen inzwischen von Bots. Mehr als die Hälfte aller Anfragen an Webserver stammt nicht von Menschen, sondern von Maschinen. Cloudflare-CEO Matthew Prince wurde im März 2026 unmissverständlich: “Das Geschäftsmodell des Internets wird sich dramatisch verändern.” Sein Unternehmen hat in nur fünf Monaten 416 Milliarden KI-Bot-Anfragen blockiert, nachdem Bot-Blocking zum Standard für alle Kunden gemacht wurde.
Der Deal des Internets war immer simpel: Inhalte erstellen, menschliche Besucher anziehen, Aufmerksamkeit über Werbung oder Abonnements monetarisieren. KI-Agenten brechen diesen Deal. Sie scrapen Inhalte, um Modelle zu trainieren und KI-Suchantworten zu generieren, liefern diese Antworten dann direkt an Nutzer und schicken niemanden auf die Ursprungsseite. Der Traffic, der das Web finanziert, verdampft.
Die Zahlen: Wie KI-Bots Menschen im Web überholt haben
Der Wandel kam schneller als erwartet. Laut mehreren Traffic-Analysen haben Bots Anfang 2026 die 50%-Schwelle des globalen Web-Traffics überschritten. Die Verteilung sieht ungefähr so aus:
- Gute Bots (Suchmaschinen-Crawler, Uptime-Monitore): ~14% des Traffics
- Böse Bots (Scraper, Credential-Stuffing, DDoS): ~37% des Traffics
- KI/LLM-Crawler: Wachstum von 2,6% auf 10,1% des Traffics in nur acht Monaten
Die letzte Zahl ist entscheidend. KI-Crawler haben ihren Anteil am Web-Traffic zwischen Q1 und Q4 2025 vervierfacht. Im Q4 kam auf durchschnittlichen Websites ein KI-Bot-Besuch auf 31 menschliche Besuche, verglichen mit einem Bot-Besuch pro 200 menschliche Besuche nur neun Monate zuvor.
Das Crawl-to-Refer-Ungleichgewicht
Das Problem ist nicht das Volumen des Bot-Traffics. Es ist die Asymmetrie. Traditionelle Suchmaschinen wie Google hatten einen impliziten Vertrag mit Publishern: Wir crawlen eure Inhalte, indexieren sie und schicken euch Traffic über die Suchergebnisse. KI-Unternehmen haben diesen Vertrag gebrochen.
Cloudflares Daten zeigen ein massives Crawl-to-Refer-Ungleichgewicht. KI-Bots konsumieren riesige Mengen an Inhalten, senden aber so gut wie keinen Referral-Traffic an die Originalquellen zurück. ChatGPT und Perplexity liefern 95-96% weniger Referral-Traffic als die klassische Google-Suche. Wenn Inhalte zum Modelltraining gescrapt werden, bekommt der Betreiber nichts zurück. Wenn Inhalte als KI-generierte Antwort erscheinen, besucht der Nutzer die Seite nie.
Wovor Cloudflares CEO wirklich warnt
Princes Warnung geht über Bot-Blocking hinaus. Er beschreibt einen strukturellen Wandel der Internet-Ökonomie. Das werbebasierte Modell, das Journalismus, Blogs, SaaS-Marketing und E-Commerce-Content finanziert, hängt von einer Sache ab: menschliche Besucher, die Seiten laden und Werbung sehen. Ohne menschliche Besucher bricht das gesamte Modell zusammen.
Das Google-Problem
Cloudflare kann GPTBot von OpenAI, ClaudeBot von Anthropic und Dutzende andere KI-Crawler blockieren. Aber Googles Crawler kann Cloudflare nicht blockieren, ohne die Suchsichtbarkeit einer Website zu zerstören.
Google hat seinen Such-Crawler und seinen KI-Crawler zu einem einzigen Bot verschmolzen. Wer Googles KI-Training-Crawler blockiert, blockiert gleichzeitig Googlebot, was bedeutet: Die eigenen Seiten verschwinden komplett aus der Google-Suche. Prince nannte das “verrückt” und eine “echte Herausforderung.”
Das ist kein Randthema. Es bedeutet: Google kann seine KI-Modelle mit euren Inhalten trainieren, diese Inhalte nutzen, um AI Overviews zu generieren, die euer Suchergebnis ersetzen, und ihr habt keine Möglichkeit, dem zu widersprechen, ohne aus der Suche zu verschwinden.
Der Traffic-Absturz für Publisher
Die finanziellen Auswirkungen sind bereits messbar. Chartbeat-Daten, die Axios vorliegen, zeigen, dass kleine Publisher am härtesten getroffen werden. Konkrete Zahlen:
- Seitenaufrufe aus der Google-Suche sind von Dezember 2024 bis Dezember 2025 um 34% gefallen
- Klickraten sinken von 15% auf 8%, wenn ein AI Overview angezeigt wird
- Nur 1% der Suchanfragen führen dazu, dass Nutzer auf einen Link innerhalb eines AI Overviews klicken
- Der Musikblog Stereogum verlor 70% seiner Werbeeinnahmen in 2025 und macht dafür Googles AI Overviews verantwortlich
Werbeabhängige Publisher verlieren 40-60% ihres Suchtraffics. Für viele war die Suche die primäre oder einzige Besucherquelle.
Wie Unternehmen sich wehren
Die Reaktion der Branche hat drei Stoßrichtungen: technische Blockade, juristische Schritte und neue Geschäftsmodelle.
Technische Abwehr
Cloudflares Ansatz ist der aggressivste im großen Maßstab. Seit Juli 2025 blockiert das Unternehmen KI-Bots standardmäßig für alle gehosteten Websites. Zusätzlich hat Cloudflare einen Pay-per-Crawl-Service eingeführt, über den Webseitenbetreiber KI-Unternehmen für den Zugriff auf ihre Inhalte bezahlen lassen können. Eine Mautgebühr für KI-Trainingsdaten, praktisch gesprochen.
Weitere technische Maßnahmen:
- robots.txt-Erweiterungen: Neue Direktiven speziell für KI-Crawler (Einhaltung allerdings freiwillig und uneinheitlich)
- Cloudflares Signed Agents: Ein kryptographisches Identitätssystem, mit dem Websites verifizieren können, ob ein KI-Agent der ist, für den er sich ausgibt
- Dynamische Content-Verschleierung: Unterschiedliche Inhalte für identifizierten Bot-Traffic ausliefern (rechtlich grau, aber zunehmend verbreitet)
Juristische Schritte
Publisher gehen vor Gericht. Die New York Times, The Intercept, Raw Story und Dutzende weitere Medien haben Klagen gegen OpenAI, Microsoft und andere KI-Unternehmen eingereicht. Das Kernargument: Das Scrapen urheberrechtlich geschützter Inhalte zum Training kommerzieller KI-Modelle ohne Erlaubnis oder Bezahlung fällt nicht unter Fair Use.
In der EU sieht die Lage anders aus. Der EU AI Act und bestehende Urheberrechtsrichtlinien geben Publishern explizitere Opt-out-Rechte für KI-Trainingsdaten. Deutsche Verlage, unterstützt von Organisationen wie der VG Wort, fordern besonders aktiv Vergütung. Das Leistungsschutzrecht, ein deutsches Spezifikum, könnte hier als Vorlage für weitere Regulierung dienen. Auch der Bundesverband Digitale Wirtschaft (BVDW) hat sich für verbindliche Vergütungsregeln bei KI-Training ausgesprochen.
Neue Geschäftsmodelle
Einige Publisher kooperieren mit KI-Unternehmen, statt gegen sie zu kämpfen:
- Lizenzdeals: Axel Springer, die dpa und andere haben Content-Lizenzverträge mit OpenAI abgeschlossen, die jährlich zweistellige Millionenbeträge einbringen
- Revenue-Sharing-Modelle: Einige KI-Suchmaschinen (wie das Perplexity Publisher Program) bieten Umsatzbeteiligung, wenn sie eine Quelle zitieren
- B2A-Positionierung (Business-to-Agent): Vorausschauende Unternehmen strukturieren ihre Inhalte gezielt für KI-Konsum um und behandeln KI-Agenten als neuen Vertriebskanal
Was das für Ihr Unternehmen bedeutet
Wenn Ihr Geschäftsmodell auf organischem Web-Traffic basiert, sind die strategischen Konsequenzen klar.
Für Content-Publisher und Verlage
Das werbebasierte Modell ist noch nicht tot, aber es schrumpft. Diversifizieren Sie Ihre Einnahmen über Display-Werbung hinaus. Abo-Modelle, Premium-Inhalte, direkte Leserbeziehungen und KI-Lizenzdeals sind Puffer gegen den Traffic-Rückgang. Überwachen Sie Ihre Server-Logs auf KI-Crawler-Aktivität. Cloudflares kostenloser Tarif blockiert die meisten KI-Bots bereits standardmäßig, aber bei Self-Hosting müssen Sie das selbst managen.
Für SaaS und E-Commerce
Auch Ihre Marketing-Inhalte werden gescrapt. Blogposts, Dokumentation, Case Studies: alles fließt in KI-Modelle ein. Der Vorteil: Wenn KI-Agenten anfangen, Produkte zu empfehlen, zählt es mehr, das empfohlene Produkt zu sein, als auf Platz 1 bei Google zu ranken. Strukturieren Sie Ihre Inhalte für KI-Konsum mit klaren, strukturierten Daten, FAQ-Schemas und maschinenlesbaren Preisen.
Für KI-Agent-Entwickler
Wer KI-Agenten baut, die das Web crawlen, sollte die rechtliche und ethische Landschaft genau beobachten. Akamais KI-Sicherheitsbericht 2026 nennt verantwortungsvolles Crawling als wachsende Compliance-Anforderung. Nutzen Sie Signed Agent Identities. Respektieren Sie robots.txt. Erwägen Sie, für Content-Zugang zu bezahlen, statt kostenlos zu scrapen.
Das Geschäftsmodell des Webs verschwindet nicht über Nacht. Aber die Verschiebung von menschengetriebenem Traffic zu Bot-getriebener Extraktion beschleunigt sich schneller, als die meisten Unternehmen sich anpassen. Cloudflares CEO beschreibt keine ferne Zukunft. Er beschreibt, was seinen 20 Millionen Kunden bereits passiert.
Häufig gestellte Fragen
Wie viel Prozent des Web-Traffics sind Bots in 2026?
Bots machen 2026 etwa 52% des gesamten weltweiten Web-Traffics aus und übertreffen damit menschliche Besucher. KI- und LLM-Crawler speziell sind von 2,6% auf 10,1% des gesamten Traffics in nur acht Monaten gewachsen und haben ihren Anteil zwischen Q1 und Q4 2025 vervierfacht.
Warum warnt Cloudflares CEO vor dem Ende des Internet-Geschäftsmodells?
Cloudflare-CEO Matthew Prince warnt, dass KI einen Plattformwechsel darstellt, der das Geschäftsmodell des Internets dramatisch verändern wird. KI-Bots scrapen Inhalte für Modelltraining und KI-Suchantworten, senden aber so gut wie keinen Referral-Traffic an die ursprünglichen Publisher zurück. Das bricht den impliziten Deal, bei dem Content-Ersteller menschliche Besucher anziehen, die Werbung sehen oder Produkte kaufen.
Wie viel Traffic verlieren Publisher durch KI-Suche?
Die Seitenaufrufe aus der Google-Suche sind von Dezember 2024 bis Dezember 2025 um 34% gesunken. Klickraten fallen von 15% auf 8%, wenn ein AI Overview erscheint. KI-Chatbots wie ChatGPT und Perplexity liefern 95-96% weniger Referral-Traffic als die traditionelle Google-Suche. Manche Publisher berichten von bis zu 70% Verlust bei den Werbeeinnahmen.
Können Websites KI-Bots am Scraping ihrer Inhalte hindern?
Teilweise. Cloudflare blockiert KI-Bots jetzt standardmäßig für alle gehosteten Websites und bietet einen Pay-per-Crawl-Service an. Allerdings hat Google seinen Such- und KI-Crawler zu einem Bot zusammengelegt, sodass das Blockieren von Googles KI-Crawler gleichzeitig die Website aus der Google-Suche entfernt. Andere KI-Crawler können über robots.txt blockiert werden, aber die Einhaltung ist freiwillig.
Welche Rechte haben deutsche Publisher gegenüber KI-Unternehmen?
Deutsche Publisher haben durch den EU AI Act, bestehende EU-Urheberrechtsrichtlinien und das deutsche Leistungsschutzrecht stärkere rechtliche Positionen als US-Kollegen. Organisationen wie die VG Wort und der BVDW setzen sich aktiv für verbindliche Vergütungsregeln beim KI-Training ein. Zusätzlich bieten DSGVO-Regelungen weitere Hebel bei der Nutzung personenbezogener Daten für das Modelltraining.