KI-Bots holen gegenüber Menschen als Quelle für Web-Traffic auf

Von Will Knight via Wired

Das Internet geht vor die Hunde Bots. Agentische KI-Bots verdrängen menschliche Aktivitäten auf typisch akzelerationistische Weise: „Beweg dich schnell und zerstöre Dinge.“ Der virtuelle Assistent OpenClaw ist nur die Spitze des Eisbergs, wenn KI-Bots ohne Menschen mit anderen KI-Bots interagieren. Wer liest das überhaupt? Noch mehr Bots, aber wahrscheinlich keine Menschen. Das Internet ist wie ein Mülleimer, der bis zum Rand mit Müll gefüllt ist, der irgendwann in einem Müllcontainerbrand enden wird. ⁃ Patrick Wood, Herausgeber.

Der virale virtuelle Assistent OpenClaw – früher bekannt als Moltbot und davor als Clawdbot – ist ein Symbol für eine umfassendere Revolution, die die Funktionsweise des Internets grundlegend verändern könnte. Anstelle eines Ortes, der in erster Linie von Menschen bewohnt wird, könnte das Web schon bald von autonomen KI-Bots dominiert werden.

Ein neuer Bericht, der die Bot-Aktivitäten im Web misst, sowie damit verbundene Daten, die das Internet-Infrastrukturunternehmen Akamai mit WIRED geteilt hat, zeigen, dass KI-Bots bereits einen bedeutenden Anteil am Web-Traffic ausmachen. Die Ergebnisse werfen auch ein Licht auf einen immer ausgefeilteren Wettlauf, in dem Bots clevere Taktiken einsetzen, um die Abwehrmechanismen von Websites zu umgehen, die sie eigentlich fernhalten sollen.

„Der Großteil des Internets wird in Zukunft aus Bot-Traffic bestehen“, sagt Toshit Pangrahi, Mitbegründer und CEO von TollBit, einem Unternehmen, das Web-Scraping-Aktivitäten verfolgt und den neuen Bericht veröffentlicht hat. „Es handelt sich nicht nur um ein Urheberrechtsproblem, sondern um eine neue Art von Besuchern im Internet.“

Die meisten großen Websites versuchen, die Inhalte zu begrenzen, die Bots scrapen und zu Trainingszwecken an KI-Systeme weiterleiten können. (Die Muttergesellschaft von WIRED, Condé Nast, sowie andere Verlage verklagen derzeit mehrere KI-Unternehmen wegen angeblicher Urheberrechtsverletzungen im Zusammenhang mit KI-Training.

Aber auch eine andere Art des KI-bezogenen Website-Scrapings ist derzeit auf dem Vormarsch. Viele Chatbots und andere KI-Tools können mittlerweile Echtzeitinformationen aus dem Internet abrufen und diese zur Erweiterung und Verbesserung ihrer Ergebnisse nutzen. Dazu können aktuelle Produktpreise, Kinoprogramme oder Zusammenfassungen der neuesten Nachrichten gehören.

Laut den Daten von Akamai hat der Trainings-bezogene Bot-Traffic seit Juli letzten Jahres stetig zugenommen. Gleichzeitig nehmen auch die weltweiten Aktivitäten von Bots zu, die Webinhalte für KI-Agenten abrufen.

„KI verändert das Internet, wie wir es kennen“, sagt Robert Blumofe, Chief Technology Officer bei Akamai, gegenüber WIRED. „Der daraus resultierende Wettlauf wird das zukünftige Aussehen, die Handhabung und die Funktionalität des Internets sowie die Grundlagen der Geschäftsabwicklung bestimmen.“

TollBit schätzt, dass im vierten Quartal 2025 durchschnittlich jeder 50. Besuch auf den Websites seiner Kunden von einem KI-Scraping-Bot stammte. In den ersten drei Monaten des Jahres 2025 war es nur jeder 200. Das Unternehmen gibt an, dass im vierten Quartal mehr als 13 Prozent der Bot-Anfragen die Datei robots.txt umgangen haben, mit der einige Websites angeben, welche Seiten Bots meiden sollen. Laut TollBit stieg der Anteil der KI-Bots, die robots.txt ignorieren, vom zweiten bis zum vierten Quartal des letzten Jahres um 400 Prozent.

TollBit meldete außerdem einen Anstieg der Anzahl von Websites, die im letzten Jahr versucht haben, KI-Bots zu blockieren, um 336 Prozent. Pangrahi sagt, dass die Scraping-Techniken immer ausgefeilter werden, da Websites versuchen, die Kontrolle darüber zu erlangen, wie Bots auf ihre Inhalte zugreifen. Einige Bots tarnen sich, indem sie ihren Datenverkehr so aussehen lassen, als käme er von einem normalen Webbrowser, oder indem sie Anfragen senden, die die normale Interaktion von Menschen mit Websites imitieren. Die Studie von TollBit stellt fest, dass das Verhalten einiger KI-Agenten mittlerweile kaum noch von menschlichem Web-Traffic zu unterscheiden ist.

TollBit vermarktet Tools, mit denen Website-Betreiber KI-Scraper für den Zugriff auf ihre Inhalte zur Kasse bitten können. Andere Unternehmen, darunter Cloudflare, bieten ähnliche Tools an. „Jeder, der auf menschlichen Web-Traffic angewiesen ist – angefangen bei Verlagen, aber im Grunde genommen jeder – wird davon betroffen sein“, sagt Pangrahi. „Es muss einen schnelleren Weg geben, um diesen maschinellen, programmatischen Austausch von Werten zu ermöglichen.“

WIRED hat versucht, 15 in dem TollBit-Bericht genannte KI-Scraping-Unternehmen um eine Stellungnahme zu bitten. Die meisten haben nicht geantwortet oder waren nicht erreichbar. Einige gaben an, dass ihre KI-Systeme darauf abzielen, die technischen Grenzen zu respektieren, die Websites zur Einschränkung des Scrapings eingerichtet haben, wiesen jedoch darauf hin, dass solche Schutzvorkehrungen oft komplex und schwer zu befolgen sind.

Or Lenchner, CEO von Bright Data, einem der weltweit größten Web-Scraping-Unternehmen, sagt, dass die Bots seines Unternehmens keine nicht-öffentlichen Informationen sammeln. Bright Data wurde zuvor von Meta und X wegen angeblich unzulässigen Scrapings von Inhalten ihrer Plattformen verklagt. (Meta zog später seine Klage zurück, und ein Bundesrichter in Kalifornien wies die von X eingereichte Klage ab.

Karolis Stasiulevičiu, ein Sprecher eines anderen genannten Unternehmens, ScrapingBee, sagte gegenüber WIRED: „ScrapingBee arbeitet nach einem der Grundprinzipien des Internets: Das offene Web soll zugänglich sein. Öffentliche Webseiten sind von Natur aus sowohl für Menschen als auch für Maschinen lesbar.“

Oxylabs, ein weiteres Scraping-Unternehmen, erklärte in einer nicht unterzeichneten Stellungnahme, dass seine Bots „keinen Zugriff auf Inhalte hinter Logins, Paywalls oder Authentifizierungen haben. Wir verlangen von unseren Kunden, dass sie unsere Dienste nur für den Zugriff auf öffentlich zugängliche Informationen nutzen, und wir setzen Compliance-Standards auf unserer gesamten Plattform durch.“

Oxylabs fügte hinzu, dass es viele legitime Gründe für Unternehmen gibt, Webinhalte zu scrapen, darunter Cybersicherheitszwecke und die Durchführung von investigativem Journalismus. Das Unternehmen sagt auch, dass die Gegenmaßnahmen, die einige Websites einsetzen, nicht zwischen verschiedenen Anwendungsfällen unterscheiden. „Die Realität ist, dass viele moderne Anti-Bot-Systeme nicht gut zwischen bösartigem Datenverkehr und legitimem automatisiertem Zugriff unterscheiden“, sagt Oxylabs.

Die Web-Scraping-Kriege bereiten nicht nur den Verlagen Kopfzerbrechen, sondern schaffen auch neue Geschäftsmöglichkeiten. Der Bericht von TollBit hat mehr als 40 Unternehmen identifiziert, die derzeit Bots vermarkten, die Webinhalte für KI-Training oder andere Zwecke sammeln können. Der Aufstieg von KI-gestützten Suchmaschinen sowie Tools wie OpenClaw tragen wahrscheinlich dazu bei, die Nachfrage nach diesen Diensten zu steigern.

Einige Firmen versprechen, Unternehmen dabei zu helfen, Inhalte für KI-Agenten sichtbar zu machen, anstatt zu versuchen, sie zu blockieren – eine Strategie, die als generative Suchmaschinenoptimierung (GEO) bekannt ist. „Wir erleben im Wesentlichen den Aufstieg eines neuen Marketingkanals“, sagt Uri Gafni, Chief Business Officer von Brandlight, einem Unternehmen, das Inhalte so optimiert, dass sie in KI-Tools prominent erscheinen.

„Dies wird sich bis 2026 noch verstärken, und wir werden diese Einführung als einen vollwertigen Marketingkanal erleben, in dem Suche, Werbung, Medien und Handel zusammenlaufen“, sagt Gafni.