Comprobamos cómo tratan 93 grandes sitios web a los rastreadores de IA: quién bloquea y quién publica llms.txt

Este artículo recoge los números de nuestra comprobación del 25 de octubre de 2026, los límites de la muestra y lo que implican para tu propio robots.txt. También explica la diferencia entre los rastreadores de entrenamiento y los agentes que obtienen páginas para un usuario, y termina con una checklist de 10 minutos. Continúa nuestra auditoría de la configuración de idiomas de 123 sitios web, que también analizó 123 marcas conocidas.

Cómo hicimos la comprobación

Tomamos 123 marcas conocidas, de consumo y B2B. Para cada una enviamos una sola petición HTTP GET sencilla a /robots.txt, /llms.txt y /llms-full.txt. Las peticiones usaron un user agent genérico de navegador, salieron desde una única ubicación de servidor y siguieron las redirecciones. Lo hicimos todo el 25 de octubre de 2026.

Un rastreador cuenta como totalmente bloqueado cuando su propio grupo en robots.txt incluye Disallow: / y ningún Allow: /. Si el archivo no nombra al rastreador, decide el grupo comodín (*). Buscamos 14 rastreadores de IA.

93 de los 123 sitios devolvieron un robots.txt legible. Los otros 30 rechazaron la petición, no tenían archivo o devolvieron una página que no es un archivo robots. Todas las cifras de robots.txt de abajo usan esos 93 sitios como base. Las cifras de llms.txt usan los 123.

Los números de un vistazo

Quién bloquea a qué rastreador

El bloqueo se concentra en unos pocos rastreadores. CCBot, el rastreador de Common Crawl, encabeza la lista con 10 sitios. GPTBot y ClaudeBot siguen con 9 cada uno, Bytespider y Amazonbot con 8, Applebot-Extended y meta-externalagent con 7 y Google-Extended con 6.

Los rastreadores que actúan para un usuario cierran la lista. PerplexityBot está totalmente bloqueado por 3 sitios, y ChatGPT-User y OAI-SearchBot por 2 cada uno.

Solo 20 de los 93 sitios nombran alguno de los 14 rastreadores de IA, así que la mayoría de los archivos robots.txt no dicen nada sobre ellos. 11 sitios bloquean al menos uno de GPTBot, ClaudeBot, CCBot, Google-Extended y anthropic-ai. Un archivo contiene una regla comodín que bloquea a todos los rastreadores, y nuestra definición aplica el grupo comodín a cualquier rastreador que el archivo no nombra.

76 de los 93 sitios declaran un sitemap en robots.txt. El archivo ya lleva el trabajo del sitemap en la mayoría de ellos.

Quién publica llms.txt

29 de los 123 sitios (24 %) publican un llms.txt. Abrimos los 29 y cada uno es un archivo real de texto o markdown. Solo 3 de los 123 publican además un llms-full.txt, la variante más larga.

El cruce de datos da un resultado claro: ninguno de los 9 sitios que bloquean GPTBot publica un llms.txt. En esta muestra, los sitios que cierran la puerta al rastreador de entrenamiento más conocido y los que redactan una guía para los modelos de lenguaje forman grupos separados. No investigamos el motivo.

Límites de estos datos

• Un solo día. Todo refleja el 25 de octubre de 2026, y estos archivos cambian.
• Una sola ubicación de servidor. Un sitio puede responder de otra forma desde otro lugar.
• Solo dominios de portada. Leímos los archivos en el dominio principal de cada marca.
• Grandes marcas conocidas. La muestra dice poco sobre los sitios pequeños.
• 30 sitios ilegibles. Rechazaron la petición, no tenían archivo o devolvieron una página que no es un archivo robots. Las cifras de robots.txt cubren los otros 93.
• El robots.txt registra una intención. Expresa lo que un sitio pide a los rastreadores. El cumplimiento se decide en otro lugar.
• Sin prueba de los efectos del llms.txt. No comprobamos si llms.txt cambia algo. Es una propuesta de la comunidad y no tiene un estándar detrás.

Rastreadores de entrenamiento y agentes del usuario

Los rastreadores de IA se dividen en dos grupos, y las consecuencias de bloquearlos difieren.

• Recolectores de entrenamiento: GPTBot, ClaudeBot, CCBot, Google-Extended y Applebot-Extended recogen contenido para entrenar modelos, o controlan si puede usarse para ello.
• Agentes de búsqueda y de usuario: OAI-SearchBot, ChatGPT-User y PerplexityBot buscan u obtienen páginas para una persona que hace una pregunta.

Bloquear un rastreador de entrenamiento no te retira por sí solo de las respuestas de IA de tipo búsqueda, porque esas respuestas dependen de otros rastreadores. Google-Extended es un token de control para los usos de IA de Google, y Googlebot sigue rastreando para Search con sus propias reglas.

Por eso conviene decidir rastreador por rastreador. Una empresa que quiere aparecer cuando alguien pide un proveedor a un asistente puede permitir los agentes de búsqueda y de usuario y bloquear la recolección de entrenamiento. Un editor que licencia su archivo puede bloquearlos todos.

Cómo funcionan los grupos de robots.txt

Un archivo robots.txt es una lista de grupos. Cada grupo empieza con una o varias líneas User-agent y sigue con reglas Disallow y Allow. Un rastreador obedece al grupo que lo nombra. Si ningún grupo lo nombra, obedece al grupo comodín, User-agent: *. Un grupo con nombre prevalece sobre el comodín, y el rastreador ignora las reglas comodín en cuanto encuentra las suyas.

Este archivo bloquea dos rastreadores de entrenamiento y deja todo lo demás abierto:

• User-agent: GPTBot
• User-agent: ClaudeBot
• Disallow: /
• User-agent: *
• Allow: /
• Sitemap: https://www.example.com/sitemap.xml

Las dos primeras líneas comparten un grupo, y en un archivo real una línea en blanco separa los grupos. Copia los nombres de los rastreadores tal como aparecen en la documentación de cada proveedor, porque un nombre mal escrito no se aplica a nadie. Un solo Disallow: / bajo User-agent: * cierra la puerta a todos los rastreadores que respetan el archivo. Es la regla que usa un sitio de nuestra muestra.

Un llms.txt mínimo

llms.txt es una propuesta de la comunidad: un archivo markdown sencillo en /llms.txt que dirige a los modelos de lenguaje hacia tus páginas más útiles. Es una propuesta sin estándar, y no comprobamos si cambia algo. El esqueleto es corto:

• # Nombre de tu sitio
• > Resumen en una línea de lo que ofrece el sitio.
• ## Nombre de la sección
• - [Título de la página](https://www.example.com/page/): una nota breve sobre el contenido de la página

Añade algunas secciones, por ejemplo productos, guías y contacto. Globaprom publica llms.txt y llms-full.txt en cuatro idiomas. Si tu sitio es multilingüe, enumera las páginas de cada versión de idioma. Nuestra guía de hreflang explica cómo los buscadores relacionan esas versiones, y nuestra página sobre software multilingüe trata cómo construirlas.

Una checklist de 10 minutos para tu sitio

• Abre /robots.txt. Confirma que carga y que se lee como un archivo robots.
• Lista los rastreadores de IA que nombras. Compara tu lista con la tabla de arriba. Un rastreador que no nombras sigue el grupo comodín.
• Decide rastreador por rastreador. Permite o bloquea cada uno según tus objetivos: recolección de entrenamiento, visibilidad en la búsqueda con IA y consultas lanzadas por el usuario.
• Revisa /llms.txt. O existe y enumera tus páginas clave, o su ausencia es una decisión deliberada.
• Declara tu sitemap. Añade una línea Sitemap:, como hacen 76 de los 93 archivos legibles de nuestra muestra.
• Anota la fecha. Los nombres de los rastreadores cambian, así que programa una revisión dentro de unos meses.

Preguntas frecuentes