Gerador de Robots.txt
Gere arquivos robots.txt para rastreadores de mecanismos de busca.
Visualizar
Bloco de Agente de Usuário
Ferramentas recomendadas
Utilitários selecionados que você pode achar úteis
Criar um arquivo robots.txt para guiar os rastreadores
Visão Geral
Um arquivo robots.txt informa aos rastreadores dos buscadores a quais partes do seu site eles podem ou não acessar. Ele fica na raiz do seu domínio e é a primeira coisa que bots bem-comportados verificam antes de rastrear. Este gerador cria um robots.txt válido a partir de escolhas simples — quais caminhos permitir ou bloquear e onde fica seu sitemap — para você não ter que decorar a sintaxe.
Como usar (passo a passo)
- 1
Escolha suas regras
Selecione a quais user-agents as regras se aplicam e quais caminhos permitir ou bloquear.
- 2
Adicione seu sitemap
Inclua opcionalmente a URL do seu sitemap para os rastreadores acharem todas as páginas.
- 3
Salve como robots.txt
Copie o texto gerado num arquivo chamado robots.txt e envie para a raiz do seu domínio.
Como Funciona
Você especifica user-agents (a quais rastreadores uma regra se aplica, muitas vezes * para todos), depois regras Allow e Disallow para caminhos de URL e, opcionalmente, a URL do seu sitemap. A ferramenta monta tudo no formato de texto exato que os buscadores esperam. Você copia a saída num arquivo chamado robots.txt e envia para a raiz do site. É um conjunto de diretrizes, não uma barreira de segurança — orienta rastreadores cooperativos.
Quando usar
Manter rastreadores fora de páginas de administração, homologação ou duplicadas. Apontar seu sitemap aos buscadores para descoberta mais rápida. Bloquear um bot específico que sobrecarrega seu servidor. Permitir tudo, mas declarando um sitemap. Impedir que seções fracas ou privadas sejam rastreadas. Configurar regras robots para o lançamento de um site novo.
Perguntas Frequentes
Não. Ele só pede que rastreadores cooperativos pulem um caminho; a página continua de acesso público e bots que não cumprem podem ignorá-lo. Para restringir o acesso de verdade, use autenticação ou controles do lado do servidor.
Notas Importantes
Uma única linha Disallow errada pode esconder seu site inteiro da busca. Confira bem os caminhos e lembre que o robots.txt é público — qualquer um pode lê-lo, então não liste URLs secretas que você tenta esconder.