Cloudflare AI-bots: Allow, Disallow AI Training of Block?
Cloudflare splitst AI-crawlers in Search, Training en Agent. Ontdek wat Disallow AI Training doet en hoe je voorkomt dat je uit Google verdwijnt.
👁 115 keer gelezen
Sinds 15 september 2026 verdeelt Cloudflare AI-bots onder in drie categorieën: Search, Training en Agent. Voor elk type kun je nu een afzonderlijke instelling kiezen. De belangrijkste verandering: de optie Block blokkeert voortaan ook Googlebot, Bingbot en Applebot. Wil je uitsluitend voorkomen dat jouw content wordt gebruikt voor modeltraining, kies dan de nieuwe optie Disallow AI Training. Hieronder leg ik alle instellingen uit en geef ik advies voor blogs, webshops en sites met advertenties. Meer achtergrond over het platform vind je in de Cloudflare-gids.
Stand van zaken op 5 oktober 2026
- Drie schakelaars: Search (indexatie), Training (modelontwikkeling), Agent (autonome agents die handelen op verzoek van een gebruiker).
- Vier opties: Allow, Disallow AI Training (alleen voor Training), Block on pages with ads, Block.
- Vervallen: de oude schakelaar “Block AI Bots” en Managed robots.txt. Deze zijn vervangen door Bot Preference Sync.
- Status “Accountable”: Google, Apple en Microsoft - hun crawlers blijven actief in de zoekmachine, ondanks een trainingsverbod.
- Beschikbaarheid: op alle abonnementen, inclusief de gratis Free-versie.
Waarom Cloudflare deze aanpak heeft gewijzigd
Het grootste knelpunt zat tot nu toe bij “hybride” bots: één crawler die zowel pagina’s indexeert voor de zoekmachine als teksten verzamelt voor het trainen van modellen. Googlebot is daarvan het duidelijkste voorbeeld. Blokkeer je Googlebot om te verhinderen dat Gemini van je artikelen leert, dan verdwijn je tegelijkertijd volledig uit de zoekresultaten van Google. Daarom sloot de oude “Block”-knop in Cloudflare zulke gemengde bots lange tijd buiten.
Volgens cijfers van Cloudflare blokkeert minder dan 1% van de websites in hun netwerk zoekmachinecrawlers, terwijl 17% een vorm van trainingsblokkade activeert. Een standaard robots.txt-bestand biedt hier geen waterdichte oplossing: iedereen kan regels publiceren, maar dat bestand controleert niet wie er daadwerkelijk content ophaalt en stopt kwaadwillende bots die de regels negeren niet. Doordat Cloudflare het live netwerkverkeer analyseert, kan het platform de regels zowel publiceren als actief afdwingen aan de netwerkgrens.
Alle instellingen in een overzicht
| Optie | Werking | Voor Search | Voor Training | Voor Agent |
|---|---|---|---|---|
| Allow | laat alle bots uit deze categorie toe (tenzij een andere firewallregel ze tegenhoudt) | ja | ja | ja |
| Disallow AI Training | voegt een trainingsverbod toe aan robots.txt; “Accountable”-bots blijven indexeren voor zoekmachines, overige pure trainingsbots worden geblokkeerd | - | ja | - |
| Block on pages with ads | blokkeert bots uitsluitend op pagina’s waar Cloudflare advertenties detecteert | ja | ja | ja |
| Block | blokkeert alle bots binnen de categorie, inclusief hybride bots (Googlebot, Bingbot, Applebot) | ja | ja | ja |
Disallow AI Training blokkeert onder meer de specifieke trainingscrawlers van Amazon, Anthropic, Meta en OpenAI. Cloudflare benadrukt dat het blokkeren van deze bots geen invloed heeft op je posities in zoekmachines.
Wat er gebeurde met bestaande configuraties
Als je zelf niets hebt aangepast, heeft Cloudflare eerdere voorkeuren automatisch gemigreerd:
| Oude “Block AI Bots” | Nieuwe Search | Nieuwe Training | Nieuwe Agent |
|---|---|---|---|
| uitgeschakeld | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Webmasters die eerder al aparte schakelaars beheerden en voor Training op Block of Block on pages with ads stonden, zijn automatisch overgezet naar Disallow AI Training. Let goed op: zet je Training of Search handmatig op Block, dan blokkeer je ook Googlebot. Dat is de snelste manier om binnen een week al je organische zoekverkeer uit Google kwijt te raken.
Standaardinstellingen voor nieuwe domeinen
Wanneer je een nieuw domein toevoegt, vraagt Cloudflare of de site advertenties bevat en stelt op basis daarvan een van de volgende configuraties voor:
| Instelling | Website zonder advertenties | Website met advertenties |
|---|---|---|
| Bot Preference Sync | ingeschakeld | ingeschakeld |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
De gedachte hierachter is helder: advertenties leveren pas inkomsten op als een menselijke bezoeker de pagina bekijkt. Een trainingsbot vervangt dat bezoek door een gegenereerd antwoord elders, en een AI-agent bezoekt de webpagina zonder dat iemand de getoonde banners ziet.
Bot Preference Sync: een robots.txt die zichzelf bijwerkt
Deze functie, beschikbaar sinds 21 augustus op elk abonnement, plaatst automatisch een configuratieblok bovenaan je bestaande robots.txt dat synchroon loopt met het Cloudflare-dashboard. Bestaande eigen regels blijven bewaard; de nieuwe instructies worden daarboven toegevoegd tussen de markeringen # BEGIN Cloudflare Bot Preference Sync en # END Cloudflare Bot Preference Sync. Cloudflare werkt de botlijst continu bij via de eigen BotBase-database, waardoor je niet zelf maandelijks nieuwe crawlers hoeft na te lopen.
Wanneer schakel je deze synchronisatie beter uit? Vooral wanneer je individuele contracten hebt gesloten met specifieke AI-partijen en hen toegang wilt geven buiten de algemene regels om. Sync werkt op categorieniveau en houdt geen rekening met afwijkende, handmatige firewallregels.
Mijn aanbevelingen per type website
Informatieve blog zonder advertenties
- Search: Allow, Agent: Allow.
- Training: Allow of Disallow AI Training - afhankelijk van je eigen voorkeur. Het risico op verlies van zoekverkeer is in beide gevallen afwezig.
- Overweeg deelname aan de bèta van Pay Per Use als je unieke, specialistische content publiceert - zie de uitleg in het artikel over Pay Per Use van Cloudflare.
Website met advertenties (zoals Google AdSense)
- Search: Allow, Training: Disallow AI Training.
- Agent: weeg dit zorgvuldig af. Block on pages with ads stopt agents zoals ChatGPT wanneer die een pagina willen ophalen voor een gebruiker. Je weert hiermee geautomatiseerd verkeer zonder advertentieweergaven, maar je loopt vermeldingen en bronlinks in AI-chats mis. Wie inzet op zichtbaarheid binnen AI-zoekmachines (GEO), kan dit beter op Allow laten staan.
Webshop
- Zet alles op Allow. Een shopping agent die prijzen vergelijkt of producten verzamelt, vertegenwoordigt een potentiële koper. Uit een eerdere steekproef bij zes grote e-commerceplatformen en marktplaatsen in Polen bleek dat geen van hen AI-bots blokkeert in robots.txt.
Site achter een betaalmuur (paywall)
- Search: Allow, Training: Disallow AI Training, Agent: Block of Block on pages with ads - AI-agents die proberen om de paywall heen te lezen vormen een direct commercieel risico.
Stappenplan voor de configuratie
- Log in op het Cloudflare-dashboard en selecteer je domein.
- Navigeer naar de instellingen voor AI-bots (onder het menu AI Crawl Control of de botinstellingen binnen het beveiligingstabblad - Cloudflare past de menustructuur geregeld aan).
- Kies voor Search, Training en Agent de gewenste opties op basis van het overzicht hierboven.
- Schakel Bot Preference Sync in als je robots.txt niet volledig handmatig beheert.
- Open
jedomein.nl/robots.txtin je browser en controleer of het Cloudflare-blok zichtbaar is. - Controleer na een week de statistieken over AI-bots in Cloudflare en bekijk je Google Search Console om te verifiëren of de indexatiestatus stabiel blijft.
Tijdens het schrijven van dit artikel had ik geen toegang tot een specifiek live klantomgeving; de benamingen van knoppen zijn gebaseerd op de officiële documentatie van Cloudflare van 21 augustus en 15 september 2026. Mocht de interface enigszins afwijken, zoek dan naar de drie hoofdschakelaars: Search, Training en Agent.
Wat volgt: controle over AI-samenvattingen
Cloudflare heeft aangekondigd tegen begin 2027 functies uit te rollen waarmee beheerders kunnen bepalen welk deel van hun teksten mag worden opgenomen in AI-overzichten (zoals AI Overviews van Google). Dit zal centraal in te stellen zijn via Cloudflare in plaats van via aparte opt-outs per zoekmachine. De “Accountable”-status verplicht spelers als Google, Apple en Microsoft nu al om op siteniveau een afmeldmogelijkheid voor samenvattingen aan te bieden.
Hoe dit er in de praktijk uitziet bij vijftig grote online platforms analyseerde ik eerder in een onderzoek naar robots.txt bij grote websites. De algemene methoden om crawlers te weren, los van Cloudflare, lees je in het artikel over AI-bots blokkeren op je eigen website, en de eerdere wijzigingen uit de zomer staan beschreven in Cloudflare blokkeerde AI-bots op mijn website.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Bronnen
More on this from HELDER
