Générateur de robots.txt
Le fichier robots.txt indique à Google et aux autres robots quelles parties de votre site ils peuvent visiter. Choisissez un modèle, ajustez les règles par robot, ajoutez votre sitemap et téléchargez le fichier. L’outil signale les erreurs courantes, comme bloquer tout le site par accident.
Traité à 100 % dans votre navigateur
Le robots.txt est une demande volontaire : les robots respectueux la suivent, mais il ne protège pas les informations privées. Placez-le à la racine de votre domaine (votresite.com/robots.txt).
Ctrl + Enter exécuterCtrl + C copier le résultat
Comment l’utiliser
- 1Choisissez un modèle : tout autoriser, tout bloquer, WordPress ou bloquer l’IA.
- 2Ajustez les chemins autorisés et bloqués pour chaque robot.
- 3Ajoutez l’adresse complète de votre sitemap.
- 4Téléchargez le fichier et placez-le à la racine de votre domaine.
Cas d’usage
- Garder l’administration ou les pages de recherche interne hors de l’index.
- Empêcher les robots d’IA d’utiliser votre contenu pour s’entraîner.
- Déclarer le sitemap pour aider les moteurs à découvrir vos pages.
- Relire un ancien robots.txt avant de lancer un nouveau site.
Questions fréquentes
Où mettre le fichier robots.txt ?
À la racine du domaine, afin qu’il s’ouvre sur votresite.com/robots.txt. Un robots.txt placé dans un dossier n’est pas valide.
Le robots.txt cache-t-il des pages à Google ?
Pas tout à fait : il demande aux robots de ne pas les visiter, mais une page bloquée peut apparaître si d’autres la citent. Pour l’exclure, utilisez la balise noindex.
Protège-t-il des informations privées ?
Non. C’est une demande volontaire et tout le monde peut le lire. Protégez les données sensibles par un mot de passe, pas par le robots.txt.
Quels robots d’IA puis-je bloquer ?
Le modèle inclut les plus connus, comme GPTBot, ClaudeBot, CCBot et Google-Extended. Seuls ceux qui respectent le standard s’y conformeront.