Generatore di robots.txt
Il file robots.txt dice a Google e agli altri crawler quali parti del tuo sito possono visitare. Scegli un modello, regola le regole per crawler, aggiungi la sitemap e scarica il file. Lo strumento segnala gli errori più comuni, come bloccare l’intero sito per sbaglio.
Elaborato al 100% nel tuo browser
Il robots.txt è una richiesta volontaria: i crawler rispettosi la seguono, ma non protegge le informazioni private. Caricalo nella radice del tuo dominio (tuosito.it/robots.txt).
Ctrl + Enter eseguiCtrl + C copia risultato
Come si usa
- 1Scegli un modello: consenti tutto, blocca tutto, WordPress o blocca IA.
- 2Regola i percorsi consentiti e bloccati per ogni crawler.
- 3Aggiungi l’indirizzo completo della sitemap.
- 4Scarica il file e caricalo nella radice del tuo dominio.
Casi d’uso
- Tenere fuori dall’indice l’area di amministrazione o le pagine di ricerca interna.
- Impedire ai crawler di IA di usare i tuoi contenuti per l’addestramento.
- Dichiarare la sitemap per aiutare i motori a scoprire le pagine.
- Rivedere un vecchio robots.txt prima di lanciare un sito nuovo.
Domande frequenti
Dove carico il robots.txt?
Nella radice del dominio, in modo che si apra su tuosito.it/robots.txt. Un robots.txt dentro una cartella non è valido.
Il robots.txt nasconde le pagine a Google?
Non del tutto: chiede ai crawler di non visitarle, ma una pagina bloccata può comparire se altri la linkano. Per escluderla usa il tag noindex.
Protegge le informazioni private?
No. È una richiesta volontaria e chiunque può leggerlo. Proteggi i dati sensibili con una password, non con il robots.txt.
Quali crawler di IA posso bloccare?
Il modello include i più noti, come GPTBot, ClaudeBot, CCBot e Google-Extended. Solo chi rispetta lo standard si adeguerà.