CitenBot
Se você viu este robô nos registros do seu site, aqui está o que ele faz.
Identificação
O robô se apresenta com este User-Agent:
CitenBot/0.1 (+https://citenai.com/bot)
O que ele acessa
- Apenas a página inicial e uma página de produto da loja que foi verificada no Citen, além do robots.txt.
- Não navega pelo resto do site, não visita marketplaces e não copia conteúdo de concorrentes.
Regras que segue
- Respeita o robots.txt antes de qualquer acesso.
- No máximo 1 requisição por segundo.
- Desiste depois de 10 segundos sem resposta.
Como bloquear
Adicione ao arquivo robots.txt do seu site:
User-agent: CitenBot Disallow: /
A partir daí, o robô não lê mais nenhuma página do site, e a verificação dessa loja deixa de ser feita.