We controleerden hoe 93 grote websites met AI-crawlers omgaan: wie blokkeert, wie publiceert llms.txt

Dit artikel deelt de cijfers van onze controle op 25 oktober 2026, de grenzen van de steekproef en wat ze betekenen voor je eigen robots.txt. Het legt ook het verschil uit tussen trainingscrawlers en agents die pagina's ophalen voor een gebruiker, en sluit af met een checklist van 10 minuten. Het vervolgt onze taalinstellingen-audit van 123 websites, die ook 123 bekende merken bekeek.

Zo voerden we de controle uit

We namen 123 bekende consumenten- en B2B-merken. Voor elk merk deden we één gewone HTTP GET-aanvraag naar /robots.txt, /llms.txt en /llms-full.txt. De aanvragen gebruikten een generieke browser-useragent, kwamen vanaf één serverlocatie en volgden omleidingen. Alles gebeurde op 25 oktober 2026.

Een crawler geldt als volledig geblokkeerd wanneer zijn eigen groep in robots.txt Disallow: / bevat en geen Allow: /. Noemt het bestand de crawler niet, dan beslist de wildcardgroep (*). We zochten naar 14 AI-crawlers.

93 van de 123 websites gaven een leesbare robots.txt terug. De andere 30 weigerden de aanvraag, hadden geen bestand of gaven een pagina terug die geen robots-bestand is. Alle robots.txt-cijfers hieronder gebruiken die 93 als basis. De llms.txt-cijfers gebruiken alle 123.

De cijfers in een oogopslag

Wie blokkeert welke crawler

Het blokkeren concentreert zich op een handvol crawlers. CCBot, de crawler van Common Crawl, staat bovenaan met 10 websites. GPTBot en ClaudeBot volgen met elk 9, Bytespider en Amazonbot met elk 8, Applebot-Extended en meta-externalagent met elk 7 en Google-Extended met 6.

De crawlers die voor een gebruiker werken, staan onderaan. PerplexityBot wordt volledig geblokkeerd door 3 websites, ChatGPT-User en OAI-SearchBot door elk 2.

Slechts 20 van de 93 websites noemen een van de 14 AI-crawlers, dus de meeste robots.txt-bestanden zeggen er niets over. 11 websites blokkeren minstens één van GPTBot, ClaudeBot, CCBot, Google-Extended en anthropic-ai. Eén bestand bevat een wildcardregel die elke crawler blokkeert, en onze definitie past de wildcardgroep toe op elke crawler die het bestand niet noemt.

76 van de 93 websites geven een sitemap op in robots.txt. Het bestand draagt voor de meesten dus al het sitemapwerk, en is daarmee een logische plek voor AI-regels.

Wie publiceert llms.txt

29 van de 123 websites (24%) publiceren een llms.txt. We openden alle 29, en elk ervan is een echt tekst- of markdownbestand. Slechts 3 van de 123 publiceren ook een llms-full.txt, de langere variant.

De kruiscontrole geeft één duidelijk resultaat: geen enkele van de 9 websites die GPTBot blokkeren publiceert een llms.txt. In deze steekproef vormen de sites die de bekendste trainingscrawler buitensluiten en de sites die een gids voor taalmodellen schrijven aparte groepen. We zochten niet uit waarom.

Grenzen van deze data

• Eén dag. Alles geeft de stand van 25 oktober 2026 weer, en deze bestanden veranderen.
• Eén serverlocatie. Een site kan vanaf een andere locatie anders antwoorden.
• Alleen hoofddomeinen. We haalden de bestanden op bij het hoofddomein van elk merk.
• Grote, bekende merken. De steekproef zegt weinig over kleine websites.
• 30 onleesbare websites. Ze weigerden de aanvraag, hadden geen bestand of gaven een pagina terug die geen robots-bestand is. De robots.txt-cijfers gelden voor de overige 93.
• robots.txt legt een bedoeling vast. Het zegt wat een site aan crawlers vraagt. De naleving wordt elders bepaald.
• Geen test van de effecten van llms.txt. We testten niet of llms.txt iets verandert. Het is een voorstel uit de community, zonder standaard erachter.

Trainingscrawlers en agents van gebruikers

AI-crawlers vallen in twee groepen, en de gevolgen van blokkeren verschillen.

• Trainingscollectors: GPTBot, ClaudeBot, CCBot, Google-Extended en Applebot-Extended verzamelen content voor modeltraining, of bepalen of die daarvoor mag dienen.
• Zoek- en gebruikersagents: OAI-SearchBot, ChatGPT-User en PerplexityBot zoeken of halen pagina's op voor iemand die een vraag stelt.

Een trainingscrawler blokkeren haalt je site niet vanzelf uit AI-antwoorden van het zoektype, want die antwoorden steunen op andere crawlers. Google-Extended is een controletoken voor de AI-toepassingen van Google, en Googlebot blijft crawlen voor Search onder eigen regels.

Beslis dus per crawler. Een bedrijf dat wil verschijnen wanneer iemand een assistent om een leverancier vraagt, kan de zoek- en gebruikersagents toelaten en de trainingscollectie blokkeren. Een uitgever die zijn archief in licentie geeft, blokkeert ze misschien allemaal. Beide keuzes zijn geldig, en elk volgt uit je doelen.

Hoe groepen in robots.txt werken

Een robots.txt-bestand is een lijst van groepen. Elke groep begint met een of meer User-agent-regels en gaat verder met Disallow- en Allow-regels. Een crawler volgt de groep die hem noemt. Noemt geen enkele groep hem, dan volgt hij de wildcardgroep, User-agent: *. Een benoemde groep wint van de wildcardgroep, en de crawler negeert de wildcardregels zodra hij zijn eigen groep vindt.

Dit bestand blokkeert twee trainingscrawlers en laat al het andere open:

• User-agent: GPTBot
• User-agent: ClaudeBot
• Disallow: /
• User-agent: *
• Allow: /
• Sitemap: https://www.example.com/sitemap.xml

De eerste twee regels delen een groep, en in een echt bestand scheidt een lege regel de groepen. Neem crawlernamen letterlijk over uit de documentatie van elke leverancier, want een verkeerd gespelde naam geldt voor niemand. Eén enkele Disallow: / onder User-agent: * sluit elke crawler buiten die het bestand respecteert. Dat is de regel die één site in onze steekproef gebruikt.

Een minimale llms.txt

llms.txt is een voorstel uit de community: een gewoon markdownbestand op /llms.txt dat taalmodellen naar je nuttigste pagina's wijst. Het is een voorstel zonder standaard, en we testten niet of het iets verandert. Het skelet is kort:

• # Naam van je site
• > Samenvatting in één regel van wat de site biedt.
• ## Naam van de sectie
• - [Titel van de pagina](https://www.example.com/page/): een korte toelichting bij de inhoud van de pagina

Voeg een paar secties toe, zoals producten, gidsen en contact. Globaprom publiceert llms.txt en llms-full.txt in vier talen. Heeft je site meerdere taalversies, zoals veel Belgische websites in het Nederlands, Frans en Engels, som dan de pagina's van elke taalversie op. Onze hreflang-gids legt uit hoe zoekmachines die versies koppelen, en onze pagina over meertalige software gaat over het bouwen ervan.

Een checklist van 10 minuten voor je site

• Open /robots.txt. Controleer of het laadt en als robots-bestand leest.
• Som de AI-crawlers op die je noemt. Vergelijk je lijst met de tabel hierboven. Een crawler die je niet noemt, volgt de wildcardgroep.
• Beslis per crawler. Sta elke crawler toe of blokkeer hem volgens je doelen: trainingscollectie, zichtbaarheid in AI-zoekopdrachten en ophalingen die een gebruiker start.
• Controleer /llms.txt. Het bestaat en somt je kernpagina's op, of het ontbreekt bewust.
• Geef je sitemap op. Voeg een Sitemap:-regel toe, zoals 76 van de 93 leesbare bestanden in onze steekproef doen.
• Noteer de datum. Crawlernamen veranderen, dus plan over een paar maanden een herziening.

Veelgestelde vragen