AI-woordenboek / Crawlery AI (GPTBot i inne)
🌐 AI w sieci
Crawlery AI (GPTBot i inne)
Bots van AI-bedrijven die content van sites verzamelen - voor training of voor live antwoorden.
AI-crawlers zijn bots waarmee AI-bedrijven content van het internet verzamelen: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot en andere. Sommige verzamelen data voor modeltraining, andere halen pagina's live op om een specifieke gebruikersvraag te beantwoorden - twee verschillende rollen met verschillende gevolgen voor uitgevers. Uitgevers kunnen toegang beheren in robots.txt door individuele bots te blokkeren of toe te laten. Die beslissing is tegenwoordig onderdeel van de strategie: blokkeren beschermt content tegen training, maar kan je site ook uit AI-antwoorden halen - dus uit een kanaal waar steeds meer mensen informatie zoeken.
Gerelateerde begrippen