WerklyTools
PT
Pague-me um café

Gerador de robots.txt

O arquivo robots.txt diz ao Google e a outros rastreadores quais partes do seu site eles podem visitar. Escolha um modelo, ajuste as regras por rastreador, adicione seu sitemap e baixe o arquivo. A ferramenta avisa sobre erros comuns, como bloquear o site inteiro por engano.

Processado 100% no seu navegador

Modelos

O robots.txt é um pedido voluntário: rastreadores educados o seguem, mas ele não protege informações privadas. Coloque-o na raiz do seu domínio (seusite.com/robots.txt).

robots.txt

Ctrl + Enter executarCtrl + C copiar resultado

Como usar

  1. 1Escolha um modelo: permitir tudo, bloquear tudo, WordPress ou bloquear IA.
  2. 2Ajuste os caminhos permitidos e bloqueados de cada rastreador.
  3. 3Adicione o endereço completo do seu sitemap.
  4. 4Baixe o arquivo e envie-o para a raiz do seu domínio.

Casos de uso

  • Manter a área de administração ou as páginas de busca interna fora do índice.
  • Impedir que rastreadores de IA usem seu conteúdo para treinar modelos.
  • Declarar o sitemap para ajudar os buscadores a descobrir suas páginas.
  • Revisar um robots.txt antigo antes de lançar um site novo.

Perguntas frequentes

Onde envio o robots.txt?

Para a raiz do domínio, de modo que abra em seusite.com/robots.txt. Um robots.txt dentro de uma pasta não é válido.

O robots.txt esconde páginas do Google?

Não totalmente: ele pede aos rastreadores que não as visitem, mas uma página bloqueada ainda pode aparecer se outras a linkarem. Para excluí-la, use a tag noindex.

Ele protege informações privadas?

Não. É um pedido voluntário e qualquer pessoa pode lê-lo. Proteja dados sensíveis com senha, não com robots.txt.

Quais rastreadores de IA posso bloquear?

O modelo inclui os mais conhecidos, como GPTBot, ClaudeBot, CCBot e Google-Extended. Só quem respeita o padrão vai obedecer.

Ferramentas relacionadas