Miljoenen websites beschermen voortaan content tegen datagraaiende AI‑bots

Cloudflare, dat naar schatting 16 procent van al het internetverkeer afhandelt, introduceert een standaardbeveiliging tegen AI‑bots die webinhoud scrapen om taalmodellen te trainen. De maatregel komt op een moment waarop uitgevers wereldwijd rechtszaken voeren tegen partijen als OpenAI en Meta, maar weinig juridische successen boeken.

De nieuwe AI‑blocker richt zich op zogenaamde crawlers die websites automatisch afstruinen. Deze worden voortaan standaard geblokkeerd op miljoenen sites die Cloudflare gebruiken. Uitgevers krijgen nu zelf de keuze om specifieke AI‑bots toe te laten of te weren, en kunnen daarvoor zelfs tarieven hanteren – een model dat Cloudflare ‘Pay Per Crawl’ noemt.

Uitgevers als Condé Nast en The Atlantic noemen de stap een “gamechanger” en een eerste structurele bescherming tegen ongevraagd datagebruik. Ook Cloudflare-CEO Matthew Prince benadrukt het belang: als AI-antwoorden steeds vaker verkeer weghouden bij de originele content, verliezen makers niet alleen inkomsten maar ook hun publiek.

OpenAI weigert vooralsnog mee te werken aan het systeem. Kleinere AI-bedrijven, zoals de zoekmachine Gist, hebben dat wel gedaan. De verwachting is dat deze nieuwe infrastructuur uitgevers een sterkere onderhandelingspositie geeft in de AI-economie.

Lees het volledige artikel op de site van de Volkskrant.