Gerador de robots.txt
Monte um robots.txt com bloqueio ou permissão de rastreadores de IA, regras por bot, crawl-delay e sitemap — copie ou baixe o arquivo.
Predefinições
Regras de todo o site (User-agent: *)
Rastreadores de IA
- GPTBotOpenAI · treinamento de modelos
- OAI-SearchBotOpenAI · índice de busca
- ChatGPT-UserOpenAI · acesso iniciado pelo usuário
- ClaudeBotAnthropic · treinamento de modelos
- Claude-UserAnthropic · acesso iniciado pelo usuário
- PerplexityBotPerplexity · motor de respostas
- Google-ExtendedGoogle · treinamento de IA (não afeta a Busca)
- CCBotCommon Crawl · conjunto de dados aberto
- Applebot-ExtendedApple · treinamento de IA
- BytespiderByteDance · rastreador agressivo
- AmazonbotAmazon · IA e Alexa
- FacebookBotMeta · treinamento de IA
- meta-externalagentMeta · treinamento de IA (novo)
robots.txt
Esta ferramenta roda inteiramente no seu navegador. Seus dados nunca saem do seu dispositivo e não são enviados a nenhum servidor.
Como usar
- 1Escolha uma predefinição: permitir tudo, bloquear bots de treinamento de IA ou bloquear tudo.
- 2Ajuste cada rastreador de IA com Permitir, Bloquear ou sem regra, e adicione caminhos Disallow para User-agent: *.
- 3Informe a URL do sitemap e copie ou baixe o arquivo para a raiz do site.
Gerador de robots.txt
O robots.txt controla o acesso dos rastreadores antes mesmo de uma página ser baixada. Além das regras clássicas de User-agent: *, hoje você decide bot por bot: permitir rastreadores ligados à busca como OAI-SearchBot e PerplexityBot, bloquear os de treinamento como GPTBot, ClaudeBot, Google-Extended, CCBot e Bytespider, ou montar sua própria política.
O gerador agrupa user-agents que compartilham regra, inclui crawl-delay onde ele é respeitado e acrescenta a diretiva de sitemap. Copie o arquivo para a raiz do domínio em /robots.txt e verifique no relatório de robots do Search Console.
Perguntas frequentes
robots.txt é um controle de segurança?
Não. Ele é consultivo: rastreadores que cumprem o obedecem, mas qualquer pessoa pode lê-lo — e ele divulga seus caminhos privados. Proteja áreas sensíveis com autenticação; nunca conte com Disallow como segurança.
Os rastreadores de IA realmente respeitam o robots.txt?
Os principais documentados — GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot — declaram suporte, mas o cumprimento é voluntário e varia por operador. Para garantia real, bloqueie na camada de CDN ou firewall.
Por que minha página continua indexada após o Disallow?
Bloquear o rastreio não é bloquear a indexação: se outras páginas linkam a URL, o Google pode indexá-la sem o conteúdo. Para tirar uma página dos resultados, permita o rastreio e use uma meta tag noindex.
Ferramentas relacionadas
Gerador de sitemap XML
Cole uma lista de URLs e gere um sitemap.xml válido com lastmod, changefreq e priority por seção — sem duplicatas e pronto para enviar.
Todas as ferramentas →
Gerador de meta tags
Gere title, description, keywords, robots e viewport com saída HTML em tempo real, pronta para colar no seu <head>.
Todas as ferramentas →
Gerador de tag canonical
Gere uma tag rel=canonical correta e aprenda a normalizar URLs para que os buscadores indexem a versão que você quer.
Todas as ferramentas →
Incorporar esta ferramenta
Coloque esta ferramenta no seu site com uma linha — ela roda no navegador do visitante.
<iframe src="https://zoyku.com/pt/tools/robots-txt-generator?embed=1" width="100%" height="640" style="border:0;border-radius:16px" title="Zoyku — robots-txt-generator" loading="lazy"></iframe>