llms.txt: lezen ChatGPT en andere AI-bots het bestand?

👁 113 keer gelezen

Mijn website heeft een llms.txt-bestand: 230 regels met 170 links naar belangrijke pagina’s, automatisch gegenereerd met WordPress. Ik analyseerde 13 dagen aan serverlogs, van 24 oktober tot en met 5 november 2026: 1.832.096 verzoeken. In die periode waren er ruim 61.000 verzoeken met de user agents van OpenAI-, Anthropic- en Perplexity-bots. Hoe vaak opende een van die bots llms.txt? Geen enkele keer.

Ik schrijf hierover omdat llms.txt vaak wordt genoemd als eerste stap om beter zichtbaar te worden in ChatGPT. Mijn logs laten iets anders zien. Hieronder vind je de cijfers, hoe ik ze heb berekend en de commando’s waarmee je dit zelf kunt controleren.

Wat is llms.txt?

Het is een voorstel van Jeremy Howard uit 3 september 2024, beschreven op llmstxt.org. Het bestand staat in de hoofdmap van een website, op /llms.txt, en is gewone tekst in Markdown. Het enige verplichte onderdeel is een H1-kop met de naam van de website. Daarna kun je een korte beschrijving als citaat opnemen en H2-secties met links naar pagina’s die een taalmodel als eerste zou moeten lezen. Het idee is een beknopt overzicht: in plaats van door menu’s, advertenties en scripts te ploegen, krijgt een model een inhoudsopgave in een makkelijk te verwerken vorm.

Mijn bestand begint met „# Mijn website”, bevat een beschrijving en een sectie over de bron met informatie over de auteur en de methode. Daarna volgen groepen links, bijvoorbeeld naar tools, live servicestatus, prijzen en vergelijkingen. Daarnaast staat llms-full.txt, een versie met de volledige inhoud, die 7,34 MB groot is en 80.795 regels telt.

llms.txt is geen standaard van een organisatie. Het staat niet in de documentatie van de bots van OpenAI, Anthropic of Perplexity. Google heeft zich er expliciet over uitgesproken; daar kom ik verderop op terug.

Wat de serverlogs laten zien

De server registreert elk verzoek met het IP-adres, de datum, het pad, de antwoordcode en de browseridentificatie, oftewel de user agent. Ik haalde uit de dagelijkse archieven alle bezoeken aan /llms.txt, /llms-full.txt en /robots.txt en telde daarnaast apart de verzoeken van AI-bots aan de hele website.

llms.txt werd 95 keer bezocht en llms-full.txt 22 keer. SEOJuice, een tool voor SEO-audits, haalde het bestand het vaakst op: 26 keer. Daarna volgden agentwebmap-bot (15 keer), de crawler voor de dataset code-docs-corpus (7 keer), Googlebot (4 keer), enkele website-auditors en een tiental gewone browsers, waarschijnlijk van mensen uit de sector die wilden zien hoe het bestand eruitzag.

In de ruwe resultaten vond ik ook één bezoek per bot van GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot, plus een tiental andere bots. Dat zag er veelbelovend uit, totdat ik naar de tijdstippen keek. Alle verzoeken kwamen van één IP-adres in Polen binnen 13 seconden, op 30 oktober tussen 00:03:13 en 00:03:26. Elk verzoek had een andere botidentificatie. Het was een toegangstest die ik zelf uitvoerde toen ik de generator van het bestand aanpaste. Een echte GPTBot komt niet van een particuliere internetverbinding in Polen.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 user agents, één IP-adres, 13 seconden)

Na aftrek van die reeks heeft geen enkele bot van OpenAI, Anthropic of Perplexity llms.txt opgehaald. Ik controleerde het ook andersom: ik gebruikte de officiële IP-adreslijsten die OpenAI en Perplexity publiceren en filterde de bezoeken aan llms.txt. Geen enkel verzoek kwam van die adressen.

AI-bots bezoeken de website, maar niet llms.txt

Dat betekent niet dat AI-bots mijn website niet kennen. In dezelfde periode van 13 dagen registreerde ik:

* Alleen verzoeken vanaf de officiële IP-bereiken die OpenAI en Perplexity publiceren. De aantallen voor ClaudeBot, Claude-User, GPTBot en Googlebot zijn gebaseerd op de botidentificatie, zonder controle van het IP-adres. Periode: 24 oktober tot en met 5 november 2026; serverlogs van mijn website.

OAI-SearchBot bezocht 3.484 verschillende URL’s en PerplexityBot 3.774. Beide halen pagina’s op uit de sitemap en via links, net als Googlebot. Waarom zouden ze een lijst in llms.txt nodig hebben als ze de oorspronkelijke pagina’s lezen?

Een detail verraste me. Van de 19.921 verzoeken van OAI-SearchBot waren er maar 5.259 voor pagina’s. De rest betrof CSS-bestanden, scripts en 7.364 verzoeken aan mijn eigen statistiekentellers, die pas in de browser worden gestart. De conclusie: de zoekbot van ChatGPT voert pagina’s uit met JavaScript. Tel je klikken met een eigen script, filter dat dan uit; anders telt het mee in je statistieken.

Welke pagina’s bezoekt ChatGPT op verzoek?

ChatGPT-User is bijzonder interessant. Deze user agent verschijnt wanneer iemand ChatGPT een vraag stelt en het model een website bezoekt om antwoord te geven. In 13 dagen waren er 2.219 bezoeken vanaf IP-adressen van OpenAI, verspreid over 790 verschillende pagina’s. De startpagina stond bovenaan, met 388 bezoeken.

Je ziet een patroon: de chat bezoekt een website wanneer een vraag gaat over iets concreets dat verandert. Denk aan datums, prijzen en vergelijkingen van abonnementen. Dat patroon zag ik ook terug in Bings gegevens, waarover ik schreef in mijn artikel over hoe Copilot websites citeert. Het model heeft mijn samenvatting niet nodig. Het heeft een pagina nodig waar een actueel cijfer vroeg in de tekst staat, met de datum waarop het is gecontroleerd.

Pas op voor bots die zich voordoen als AI

Perplexity-User was goed voor 540 verzoeken in de logs, maar geen daarvan kwam van een IP-adres van Perplexity. Alle verzoeken zochten naar bestanden zoals /.env, /.env.production of /config/gcp-credentials.json. Dit zijn scanners die zich voordoen als AI-bots, in de hoop dat beheerders ze zonder controle toegang geven. Ook 563 van de 2.782 verzoeken met de user agent ChatGPT-User kwamen niet van OpenAI.

Praktisch advies: vertrouw een verzoek niet alleen omdat de user agent „GPTBot” zegt. Controleer het IP-adres aan de hand van de officiële lijst. Lukt dat niet, behandel de user agent dan als een bewering, niet als bewijs.

Wat zegt Google over llms.txt?

In een gids over optimalisatie voor AI-zoekopdrachten schrijft Google dat je geen AI-bestanden of Markdown hoeft te maken om in de zoekresultaten te verschijnen, ook niet in generatieve functies. De zoekmachine gebruikt die bestanden namelijk niet. Over llms.txt staat er apart dat je het bestand mag onderhouden, maar dat het je zichtbaarheid in Google niet helpt of schaadt, omdat Google het negeert. Dit fragment werd in juni 2026 aan de documentatie toegevoegd. Een jaar eerder zei Gary Illyes van Google publiekelijk hetzelfde.

De vier bezoeken van Googlebot aan llms.txt veranderen daar niets aan. Googlebot haalt elke URL op die het via links vindt en kwam zo ook bij dit bestand terecht.

Mijn conclusie: ik houd het bestand, maar betaal er niet voor

Ik verwijder llms.txt niet. Het wordt automatisch gegenereerd, schaadt niemand en wordt gelezen door SEO-tools en enkele kleinere crawlers. Mocht OpenAI of Anthropic het ooit gaan gebruiken, dan staat het alvast klaar.

Maar als iemand je „llms.txt implementeren” verkoopt als manier om door ChatGPT te worden aanbevolen, betaal je te veel. In mijn logs is het bestand er voor auditors, niet voor modellen. Een uur werk aan een pagina met een prijs, datum en antwoord in de eerste alinea levert meer op.

Mijn logs laten zien wat waarschijnlijk meer verschil maakt:

• Sta de juiste bots toe. OAI-SearchBot en PerplexityBot zijn relevant voor zichtbaarheid in chatzoekmachines. Blokkeer je ze in robots.txt of via de firewall van je hostingprovider, dan verdwijn je uit hun index. GPTBot, dat gegevens verzamelt voor training, is een aparte keuze.
• Zorg voor een snelle website zonder blokkades. ChatGPT-User bezoekt een pagina tijdens een gesprek, op verzoek van de gebruiker. Een website die traag reageert of eerst een verificatiescherm toont met „ben je een mens?”, komt mogelijk niet in het antwoord terecht.
• Geef actuele, concrete informatie. De pagina’s die de chat het vaakst bezocht, beantwoordden vragen over datums, prijzen of verschillen tussen abonnementen. Zulke informatie heeft het model mogelijk niet in zijn geheugen en moet het dus ophalen.
• Meet in plaats van te gissen. Serverlogs zijn gratis en laten zien welke pagina’s bots bezoeken, ook op verzoek van gebruikers.

Zo controleer je je eigen serverlogs

Je hebt de ruwe toegangslogs van je hostingprovider nodig. Ze staan meestal in een map met de naam logs of zijn als archief te downloaden. Met deze drie commando’s kun je beginnen:

# 1. Wie haalt llms.txt op? (adres, datum, user agent)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. Hoeveel verzoeken aan de hele website komen van AI-bots?
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. Welke pagina's bezoekt ChatGPT op verzoek van gebruikers?
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Vergelijk daarna de IP-adressen met de lijsten van OpenAI (de bestanden chatgpt-user.json, searchbot.json en gptbot.json op openai.com) en Perplexity. Sla je die stap over, dan tel je ook scanners mee, zoals ik bij mijn eerste analyse deed.

Bronnen en datum van controle

De logs en bestanden zijn gecontroleerd op 6 november 2026.

• Toegangslogs van mijn server, 24 oktober tot en met 5 november 2026 (1.832.096 verzoeken), eigen analyse
• llmstxt.org - het voorstel voor llms.txt van Jeremy Howard, 3 september 2024
• Google Search Central - gids voor optimalisatie voor AI-zoekopdrachten, inclusief het fragment over llms.txt
• OpenAI - informatie over OAI-SearchBot, GPTBot en ChatGPT-User en IP-adreslijsten
• Perplexity - informatie over PerplexityBot en Perplexity-User
• Anthropic - informatie over ClaudeBot, Claude-User en Claude-SearchBot
• Search Engine Roundtable, 24 juli 2025 - Gary Illyes: Google ondersteunt llms.txt niet

// lees verderClaude Code: wachtwoorden in 1.122 GitHub-bestandenAI-overzichtAI en ongelijkheid: ChatGPT Pro, agents en een nieuwe kloofAI-overzichtEuropees ChatGPT-alternatief gebruikt standaard Chinees modelAI-overzicht

Kinetyra