Generador de robots.txt
El robots.txt le dice a Google y a otros rastreadores qué partes de tu web pueden visitar. Elige una plantilla, ajusta las reglas por rastreador, añade tu sitemap y descarga el archivo. La herramienta te avisa de errores típicos, como bloquear todo tu sitio por accidente.
Procesado 100% en tu navegador
El robots.txt es una petición voluntaria: los rastreadores respetuosos la siguen, pero no sirve para proteger información privada. Súbelo a la raíz de tu dominio (tusitio.com/robots.txt).
Ctrl + Enter ejecutarCtrl + C copiar resultado
Cómo usar
- 1Elige una plantilla: permitir todo, bloquear todo, WordPress o bloquear IA.
- 2Ajusta las rutas permitidas y bloqueadas de cada rastreador.
- 3Añade la dirección completa de tu sitemap.
- 4Descarga el archivo y súbelo a la raíz de tu dominio.
Casos de uso
- Evitar que se indexen el panel de administración o las páginas de búsqueda internas.
- Impedir que rastreadores de IA usen tu contenido para entrenar modelos.
- Declarar el sitemap para ayudar a los buscadores a descubrir tus páginas.
- Revisar un robots.txt antiguo antes de lanzar una web nueva.
Preguntas frecuentes
¿Dónde debo subir el robots.txt?
En la raíz del dominio, de modo que se pueda abrir en tusitio.com/robots.txt. Un robots.txt dentro de una carpeta no es válido.
¿El robots.txt oculta páginas de Google?
No del todo: indica a los rastreadores que no las visiten, pero una página bloqueada puede aparecer si otras la enlazan. Para excluirla usa la etiqueta noindex.
¿Sirve para proteger información privada?
No. Es una petición voluntaria y cualquiera puede leerlo. Protege los datos sensibles con contraseña, no con robots.txt.
¿Qué rastreadores de IA puedo bloquear?
La plantilla incluye los más conocidos, como GPTBot, ClaudeBot, CCBot y Google-Extended. Solo los que respetan el estándar harán caso.