Nous avons vérifié comment 93 grands sites traitent les crawlers IA : qui bloque, qui publie un llms.txt

Cet article présente les chiffres de notre relevé du 25 octobre 2026, les limites de l’échantillon et ce qu’ils changent pour votre propre robots.txt. Il explique aussi la différence entre les crawlers d’entraînement et les agents qui récupèrent des pages pour un utilisateur, puis se termine par une checklist de 10 minutes. Il prolonge notre audit de la configuration linguistique de 123 sites web, qui portait lui aussi sur 123 marques connues.

Comment nous avons mené le relevé

Nous avons retenu 123 marques connues, grand public et B2B. Pour chacune, nous avons envoyé une seule requête HTTP GET simple vers /robots.txt, /llms.txt et /llms-full.txt. Les requêtes utilisaient un user-agent générique de navigateur, partaient d’un seul emplacement serveur et suivaient les redirections. Tout a été relevé le 25 octobre 2026.

Un crawler est considéré comme entièrement bloqué lorsque son propre groupe dans le robots.txt contient Disallow: / et aucun Allow: /. Quand le fichier ne nomme pas le crawler, c’est le groupe générique (*) qui décide. Nous avons recherché 14 crawlers IA.

93 des 123 sites ont renvoyé un robots.txt lisible. Les 30 autres ont refusé la requête, n’avaient pas de fichier ou ont renvoyé une page qui n’est pas un fichier robots. Tous les chiffres robots.txt ci-dessous prennent ces 93 sites comme base. Les chiffres llms.txt portent sur les 123.

Les chiffres en un coup d’œil

Qui bloque quel crawler

Le blocage se concentre sur quelques crawlers. CCBot, le crawler de Common Crawl, arrive en tête avec 10 sites. GPTBot et ClaudeBot suivent avec 9 sites chacun, Bytespider et Amazonbot avec 8, Applebot-Extended et meta-externalagent avec 7, et Google-Extended avec 6.

Les crawlers qui agissent pour un utilisateur ferment la marche. PerplexityBot est entièrement bloqué par 3 sites, ChatGPT-User et OAI-SearchBot par 2 sites chacun.

Seuls 20 des 93 sites nomment l’un des 14 crawlers IA : la plupart des fichiers robots.txt ne disent donc rien à leur sujet. 11 sites bloquent au moins l’un de GPTBot, ClaudeBot, CCBot, Google-Extended et anthropic-ai. Un fichier contient une règle générique qui bloque tous les crawlers, et notre définition applique le groupe générique à tout crawler que le fichier ne nomme pas.

76 des 93 sites déclarent un sitemap dans leur robots.txt.

Qui publie un llms.txt

29 des 123 sites (24 %) publient un llms.txt. Nous les avons tous ouverts : chacun est un vrai fichier texte ou markdown. Seuls 3 des 123 publient aussi un llms-full.txt, la variante plus longue.

Le recoupement donne un résultat net : aucun des 9 sites qui bloquent GPTBot ne publie de llms.txt. Dans cet échantillon, les sites qui ferment la porte au crawler d’entraînement le plus connu et ceux qui rédigent un guide pour les modèles de langage forment deux groupes séparés. Nous n’en avons pas cherché la raison.

Les limites de ces données

• Un seul jour. Tout reflète l’état du 25 octobre 2026, et ces fichiers évoluent.
• Un seul emplacement serveur. Un site peut répondre autrement depuis un autre endroit.
• Domaines d’accueil uniquement. Nous avons lu les fichiers sur le domaine principal de chaque marque.
• Grandes marques connues. L’échantillon dit peu de chose sur les petits sites.
• 30 sites illisibles. Ils ont refusé la requête, n’avaient pas de fichier ou ont renvoyé une page qui n’est pas un fichier robots. Les chiffres robots.txt portent sur les 93 autres.
• Le robots.txt consigne une intention. Il indique ce qu’un site demande aux crawlers. L’application de cette demande se joue ailleurs.
• Aucun test des effets du llms.txt. Nous n’avons pas testé si le llms.txt change quoi que ce soit. C’est une proposition de la communauté, sans norme derrière.

Crawlers d’entraînement et agents pilotés par l’utilisateur

Les crawlers IA se répartissent en deux groupes, et les conséquences d’un blocage diffèrent.

• Collecteurs d’entraînement : GPTBot, ClaudeBot, CCBot, Google-Extended et Applebot-Extended collectent du contenu pour entraîner des modèles, ou contrôlent s’il peut servir à cela.
• Agents de recherche et d’utilisateur : OAI-SearchBot, ChatGPT-User et PerplexityBot cherchent ou récupèrent des pages pour une personne qui pose une question.

Bloquer un crawler d’entraînement ne retire pas à lui seul votre site des réponses IA de type recherche, car ces réponses s’appuient sur d’autres crawlers. Google-Extended est un jeton de contrôle pour les usages IA de Google, et Googlebot continue d’explorer pour la Recherche selon ses propres règles.

Décidez donc crawler par crawler. Une entreprise qui veut apparaître quand on demande un fournisseur à un assistant peut autoriser les agents de recherche et d’utilisateur tout en bloquant la collecte d’entraînement. Un éditeur qui vend la licence de ses archives peut tous les bloquer.

Comment fonctionnent les groupes du robots.txt

Un fichier robots.txt est une liste de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent et se poursuit avec des règles Disallow et Allow. Un crawler suit le groupe qui le nomme. Si aucun groupe ne le nomme, il suit le groupe générique, User-agent: *. Un groupe nommé l’emporte sur le groupe générique, et le crawler ignore les règles génériques dès qu’il trouve les siennes.

Ce fichier bloque deux crawlers d’entraînement et laisse tout le reste ouvert :

• User-agent: GPTBot
• User-agent: ClaudeBot
• Disallow: /
• User-agent: *
• Allow: /
• Sitemap: https://www.example.com/sitemap.xml

Les deux premières lignes partagent un même groupe, et dans un vrai fichier une ligne vide sépare les groupes. Recopiez les noms de crawlers exactement comme dans la documentation de chaque éditeur, car un nom mal orthographié ne s’applique à personne. Un simple Disallow: / sous User-agent: * ferme la porte à tous les crawlers qui respectent le fichier. C’est la règle qu’utilise un site de notre échantillon.

Un llms.txt minimal

Le llms.txt est une proposition de la communauté : un simple fichier markdown placé à /llms.txt, qui oriente les modèles de langage vers vos pages les plus utiles. C’est une proposition, sans norme, et nous n’avons pas testé s’il change quoi que ce soit. Le squelette est court :

• # Nom de votre site
• > Résumé en une ligne de ce que propose le site.
• ## Nom de la section
• - [Titre de la page](https://www.example.com/page/) : une courte note sur le contenu de la page

Ajoutez quelques sections, par exemple produits, guides et contact. Globaprom publie un llms.txt et un llms-full.txt en quatre langues. Si votre site est multilingue, comme beaucoup de sites belges en français, néerlandais et anglais, listez les pages de chaque version linguistique. Notre guide hreflang explique comment les moteurs associent ces versions, et notre page sur les logiciels multilingues traite de leur construction.

Une checklist de 10 minutes pour votre site

• Ouvrez /robots.txt. Vérifiez qu’il se charge et qu’il se lit comme un fichier robots.
• Listez les crawlers IA que vous nommez. Comparez votre liste avec le tableau ci-dessus. Un crawler que vous ne nommez pas suit le groupe générique.
• Décidez crawler par crawler. Autorisez ou bloquez chacun selon vos objectifs : collecte d’entraînement, visibilité dans la recherche IA et récupérations déclenchées par l’utilisateur.
• Vérifiez /llms.txt. Soit il existe et liste vos pages clés, soit son absence est un choix assumé.
• Déclarez votre sitemap. Ajoutez une ligne Sitemap:, comme le font 76 des 93 fichiers lisibles de notre échantillon.
• Notez la date. Les noms de crawlers évoluent : programmez une révision dans quelques mois.

Questions fréquentes