Tu robots.txt ya es una estrategia de distribución

Solo el 8,11% de los sitios bloquea por completo a GPTBot en su robots.txt. El número que se movió en el último año no fue el bloqueo — fue el permiso explícito, que se triplicó del 2,51% al 7,69% de los archivos. Mientras tanto, Cloudflare empezó a calificar a los bots según obedezcan (o no) ese archivo. Junta ambas cosas y el robots.txt deja de ser una nota de cortesía y pasa a ser una política de distribución con fiscalización detrás — lo cual es un problema, porque casi nadie escribió el suyo a propósito.

Qué cambió esta semana

El 16 de octubre de 2026 Cloudflare anunció responsabilidad continua para bots verificados: pasar la verificación de identidad una vez dejó de alcanzar para seguir verificado. El sistema ahora observa el comportamiento a lo largo del tiempo y lo puntúa.

Dos señales hacen la mayor parte del trabajo:

• Consistencia con el robots.txt — si el tráfico observado del bot coincide con las preferencias que el sitio publicó, juzgado por patrones repetidos y no por una violación aislada.
• Respuesta al HTTP 429 — cuando el sitio responde "Too Many Requests", ¿el crawler desacelera, pausa, o sigue al mismo ritmo?

El resultado es una banda de confianza explicable, no un veredicto permanente. Cloudflare dice que publicará esas puntuaciones en Radar y dejará que cada cliente fije su propio umbral para el tráfico de bots verificados. La cobertura independiente lo enmarca igual: la confianza se vuelve continua y revocable.

Y ya hay precedente de que esto tiene dientes. Cloudflare quitó de la lista al bot de Perplexity en 2025, después de que accediera a recursos de sitios que habían optado por salir y luego intentara sortear los controles.

El dato que casi todos leen al revés

La historia corriente es que los publishers se están cerrando a la IA. Lo medido dice otra cosa. De un análisis de 4.242 archivos robots.txt muestreados en la red de Cloudflare el 28 de septiembre de 2026:

En doce meses, la porción de bloqueo total de GPTBot apenas se movió — pasó de 7,15% a 8,11%. Lo que de verdad se triplicó fueron las directivas Allow explícitas, del 2,51% al 7,69% de los archivos procesados.

De ahí se siguen dos conclusiones, y apuntan al mismo lado:

1. Más del 90% de los sitios no bloquea nada. No por decisión — por default. Su robots.txt es boilerplate heredado, anterior a toda esta discusión.
2. Quienes están siendo deliberados mayormente están entrando, no saliendo. El movimiento va hacia el permiso explícito, no hacia la negativa.

Y el propósito del crawl también está cambiando por debajo: en el Q3 de 2026, el tráfico con fin de entrenamiento fue 47,62%, y búsqueda más acción del usuario sumaron 11,92% — contra 6,51% el trimestre anterior. La porción de rastreo hecha para responder una pregunta ahora, en vez de entrenar, crece rápido.

Bot de entrenamiento y bot de respuesta no son el mismo trato

Es esta distinción la que convierte al robots.txt en una cuestión de estrategia en vez de un ítem de checklist.

Un crawler de entrenamiento se lleva tu contenido adentro de un modelo. No recibes atribución, ni tráfico, ni un evento que puedas medir. El trato es limpio: el contenido sale, no vuelve nada.

Un crawler de respuesta busca tu página porque alguien preguntó algo ahora, y tu contenido puede ser citado en la respuesta. Eso está más cerca de una referencia que de una extracción — y es el mecanismo detrás de toda conversación sobre "cómo ser citado por los LLM".

Aplastar ambos en un Disallow: * es la forma en que un equipo bloquea su propia distribución creyendo que protegió un activo. Lo inverso es igual de común: dejar todo abierto y llamarlo estrategia.

El encuadre honesto es que son tratos distintos y merecen respuestas distintas. Si ser citado es cómo te encuentran — y para la mayoría de las empresas B2B que publican contenido técnico, cada vez más lo es —, bloquear bots de respuesta es autolesión, y el trabajo real es merecer la cita.

Qué hacer en la práctica

1. Lee tu robots.txt hoy. No metafóricamente. La mayoría de los equipos nunca abrió el archivo, y lo más probable es que lo haya generado un framework o un plugin hace años.
2. Decide los dos casos por separado. Crawlers de entrenamiento y de respuesta son negocios distintos. Escribe el archivo diciendo lo que realmente piensas de cada uno.
3. Pon el Allow explícito donde quieres ser encontrado. El silencio solía ser permiso. Con puntuación de ambos lados, lo explícito le gana a lo implícito — y el Allow explícito se triplicó por algo.
4. Deja de limitar la tasa de los crawlers que sí quieres. Si devuelves 429 a un bot de respuesta del que te gustaría recibir citas, le estás enseñando a visitarte menos. El rate limit ahora se lee como preferencia, y la preferencia ahora se puntúa.
5. Mira las bandas de confianza cuando lleguen a Radar. Un crawler con mala banda es uno que puedes bloquear con evidencia, no con sospecha.

Es el mismo giro que encontramos llevando productos hechos con IA a producción: los defaults que eran inofensivos mientras nadie fiscalizaba se vuelven el factor que decide el resultado apenas alguien empieza a medir. Y es hermano de un argumento que hicimos hace poco — las ideas zanjadas tienen fecha de caducidad. Un robots.txt que nadie lee desde 2019 es exactamente ese tipo de fósil.

Conclusiones clave

• Cloudflare ahora puntúa a los bots verificados de forma continua, por consistencia con el robots.txt y por respuesta al HTTP 429, generando una banda de confianza que planea publicar en Radar.
• Solo el 8,11% de los sitios bloquea por completo a GPTBot; ClaudeBot 6,91%; Google-Extended 5,94%. Más del 90% no bloquea nada, en su mayoría por default y no por decisión.
• El cambio real del año fue que el Allow explícito se triplicó del 2,51% al 7,69% — publishers entrando a propósito, no cerrándose.
• Crawlers de entrenamiento y de respuesta son tratos distintos: uno se lleva contenido sin devolver nada, el otro puede mandar citas. Un Disallow para ambos bloquea tu propia distribución.
• Devolver 429 a un crawler del que quieres citas le enseña a volver menos.

Preguntas frecuentes

¿El robots.txt tiene valor legal?

No, y eso no cambió. Lo que cambió es la fiscalización por intermediarios: Cloudflare ahora mide si el bot verificado respeta el archivo a lo largo del tiempo y puede revocar la verificación — como hizo con el bot de Perplexity en 2025 —, lo que vuelve al archivo consecuente sin volverlo un contrato.

¿Deberíamos bloquear crawlers de IA?

Separa los casos. Bloquear crawlers de entrenamiento es un trato defendible si tu contenido es el producto. Bloquear crawlers de respuesta te saca de la superficie donde la gente cada vez más pregunta. La mayoría de los equipos debería ser deliberada en el primero y permisiva en el segundo.

¿Cuántos sitios bloquean realmente crawlers de IA?

Poquísimos. Al 28 de septiembre de 2026, entre 4.242 archivos robots.txt procesados: 8,11% bloquea por completo a GPTBot, 6,91% a ClaudeBot y 5,94% a Google-Extended.

¿Qué es una "banda de confianza explicable"?

Es el resultado que Cloudflare genera para un bot verificado: un rango que muestra con qué consistencia respeta las preferencias del sitio a lo largo del tiempo, en vez de un aprobado/reprobado puntual. El plan declarado es publicarlas en Radar y dejar que los clientes fijen umbrales.

¿Cuál es la acción útil más pequeña?

Abrir tu robots.txt y confirmar que dice lo que pretendes sobre los crawlers de IA. Para la mayoría de los equipos es una tarea de diez minutos que nunca se hizo.

Fuentes: Cloudflare — Continuous accountability for Verified bots · Runtimewire · Análisis de robots.txt en la red de Cloudflare