CarragentBot : ce qu’il lit et comment l’arrêter

Carragent est un logiciel qui fait travailler des agents d’IA pour les petites entreprises. L’un d’eux, Prospection, trouve des entreprises qui pourraient vouloir ce que vend son propriétaire. Une fois par semaine, et quand son propriétaire demande une recherche, il cherche des entreprises sur le Web et CarragentBot lit leurs pages publiques.

Il se présente avec ce User-Agent :

CarragentBot/1.0 (+https://carragent.com/bot)

Ajoutez ces lignes à votre robots.txt. CarragentBot lit ce fichier avant d’ouvrir une page de votre site, donc dès la prochaine exécution de l’agent, il ne lit plus votre site :

User-agent: CarragentBot
Disallow: /

Pour ne l’exclure que d’une partie de votre site, utilisez plutôt ceci, avec le chemin de cette partie :

User-agent: CarragentBot
Disallow: /private/

Vous pouvez aussi écrire à admin@carragent.com avec l’adresse de votre site Web et nous demander de l’ajouter à notre liste de blocage. Chaque recherche consulte cette liste avant d’ouvrir une page, et les entreprises déjà inscrites à partir de votre site sont retirées des listes de nos clients.

Seulement des pages Web publiques, à des adresses http et https, et le robots.txt de chaque site. Il ignore les réseaux sociaux, les places de marché et les répertoires dont les conditions d’utilisation interdisent aux programmes automatisés de lire leurs pages, et il n’ouvre jamais une adresse d’un réseau privé.

À chaque visite, il lit au plus 3 pages d’un site : la page trouvée par la recherche et, parmi les liens de cette page, jusqu’à deux autres pages du même site qui ressemblent à une page de contact ou à une page de présentation. Avec le robots.txt, cela fait au plus 4 requêtes, l’une après l’autre. Une recherche regarde au plus 36 sites, et une exécution de l’agent au plus 9 d’entre eux, donc une longue recherche se poursuit dans une exécution suivante.

Il attend au plus 20 secondes une page (10 pour un robots.txt), et il lit les 512 premiers Kio d’un robots.txt et ignore le reste. S’il ne peut pas terminer une visite, parce que le site ne répond pas ou à cause d’un problème de notre côté, il réessaie plus tard, et il abandonne un site qui ne répond pas après 3 tentatives.

L’agent d’un client cherche au plus une fois par semaine, et le client peut lancer une recherche de plus à la main, au plus une fois par jour. Une fois qu’un site a été regardé pour un client, il n’est pas regardé de nouveau pour ce client pendant 35 jours. La limite est par client, donc un site qui convient à plusieurs de nos clients peut recevoir une visite pour chacun.

Avant d’ouvrir une page, CarragentBot demande le robots.txt du site et le suit (RFC 9309). Il obéit au groupe de CarragentBot ou, à défaut, au groupe de *. La règle la plus longue qui correspond l’emporte, et à égalité, c’est Allow.

Sans robots.txt (un 404, un 410 ou tout autre 4xx sauf 401, 403 et 429), rien n’est interdit. Si le robots.txt répond 401 ou 403, rien n’est lu sur ce site pour cette recherche. S’il répond 429 ou une erreur du serveur (500 et plus), ou s’il ne répond pas à temps, rien n’est lu pour le moment : CarragentBot réessaie plus tard et abandonne le site après 3 tentatives.

Un site dont le robots.txt interdit sa racine aux robots d’exploration des entreprises d’IA (GPTBot, ClaudeBot, CCBot ou Google-Extended, par exemple) n’est pas lu non plus, quoi qu’il dise aux autres.

Le fichier est redemandé à chaque exécution de l’agent, donc un changement s’applique dès la suivante.

Il ne se connecte jamais à un compte et ne remplit ni n’envoie jamais de formulaire : il charge seulement des pages publiques.

Il ne contacte jamais personne. L’agent n’envoie ni courriel ni message et ne publie aucun commentaire. Il dresse une liste que notre client examine, et c’est le client qui décide d’écrire ou non à une entreprise.

Pour le moment, CarragentBot ne signe pas ses requêtes. Son User-Agent est donc la seule chose qui le nomme, et n’importe qui peut copier un User-Agent. Pour toute question sur une requête, écrivez à admin@carragent.com.