CarragentBot: qué lee y cómo detenerlo

Carragent es un software que hace trabajar a agentes de IA para pymes. Uno de ellos, Prospección, encuentra negocios que podrían querer lo que vende su dueño. Una vez por semana, y cuando su dueño pide una búsqueda, busca negocios en la web y CarragentBot lee sus páginas públicas.

Se identifica con este User-Agent:

CarragentBot/1.0 (+https://carragent.com/bot)

Agrega estas líneas a tu robots.txt. CarragentBot lee ese archivo antes de abrir cualquier página de tu sitio, así que desde la próxima ejecución del agente no lee tu sitio:

User-agent: CarragentBot
Disallow: /

Para dejarlo fuera solo de una parte de tu sitio, usa esto en su lugar, con la ruta de esa parte:

User-agent: CarragentBot
Disallow: /private/

También puedes escribir a admin@carragent.com con la dirección de tu sitio web y pedirnos que la agreguemos a nuestra lista de bloqueo. Cada búsqueda consulta esa lista antes de abrir una página, y los negocios que ya figuraban a partir de tu sitio se eliminan de las listas de nuestros clientes.

Solo páginas web públicas, en direcciones http y https, y el robots.txt de cada sitio. Omite las redes sociales, los marketplaces y los directorios cuyas condiciones no permiten que las lean programas automáticos, y nunca abre una dirección de una red privada.

En cada visita lee como máximo 3 páginas de un sitio: la página que encontró la búsqueda y, entre los enlaces de esa página, hasta dos más del mismo sitio que parezcan una página de contacto o una que presente al negocio. Con el robots.txt, son como máximo 4 solicitudes, una tras otra. Una búsqueda mira como máximo 36 sitios, y una ejecución del agente como máximo 9 de ellos, así que una búsqueda más larga sigue en una ejecución posterior.

Espera como máximo 20 segundos por una página (10 por un robots.txt), y de un robots.txt lee los primeros 512 KiB y descarta el resto. Si no puede terminar una visita, porque el sitio no responde o por un problema de nuestro lado, lo intenta de nuevo más tarde, y abandona un sitio que no responde después de 3 intentos.

El agente de un cliente busca como máximo una vez por semana, y el cliente puede iniciar una búsqueda más a mano, como máximo una vez al día. Una vez que se miró un sitio para un cliente, no se vuelve a mirar para ese cliente durante 35 días. El límite es por cliente, así que un sitio que le sirva a varios de nuestros clientes puede recibir una visita por cada uno.

Antes de abrir una página, CarragentBot pide el robots.txt del sitio y lo sigue (RFC 9309). Obedece el grupo de CarragentBot o, si no hay, el grupo de *. Gana la regla más larga que coincida, y si hay empate gana Allow.

Si no hay robots.txt (un 404, un 410 u otro 4xx salvo 401, 403 y 429), no se prohíbe nada. Si el robots.txt responde 401 o 403, no se lee nada de ese sitio en esa búsqueda. Si responde 429 o un error del servidor (500 o más), o no responde a tiempo, por ahora no se lee nada: CarragentBot lo intenta de nuevo más tarde y abandona el sitio después de 3 intentos.

Un sitio cuyo robots.txt deja fuera de su raíz a los rastreadores de empresas de IA (GPTBot, ClaudeBot, CCBot o Google-Extended, por ejemplo) tampoco se lee, diga lo que diga para los demás.

El archivo se vuelve a pedir en cada ejecución del agente, así que un cambio rige desde la siguiente.

Nunca inicia sesión y nunca completa ni envía un formulario: solo carga páginas públicas.

Nunca contacta a nadie. El agente no envía correos ni mensajes ni publica comentarios. Arma una lista que nuestro cliente revisa, y es el cliente quien decide si le escribe a un negocio.

En este momento CarragentBot no firma sus solicitudes, así que su User-Agent es lo único que lo nombra, y cualquiera puede copiar un User-Agent. Para cualquier duda sobre una solicitud, escribe a admin@carragent.com.