Strumento gratuito

robots.txt per l'IA,
sapendo cosa fa ogni bot.

Alcuni bot ti citano nelle risposte di ChatGPT, Claude o Perplexity; altri raccolgono testi solo per addestrare modelli. Scegli chi entra e copia il blocco pronto da incollare.

Parti da una ricetta

Il tuo blocco robots.txt

9 ammessi · 5 bloccati

robots.txt
# Bot di IA · generato con Tarsier · https://gettarsier.com/it/robots-txt
# Incollalo alla fine del tuo robots.txt ed elimina ogni altra riga che nomina questi bot.

# Possono leggere il sito
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
Allow: /

# Non possono leggere il sito
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Bot per bot

Ti citano nelle loro risposte

Indicizzano il web per rispondere con i link alle fonti. Se non entrano, non compari.

Leggono la tua pagina quando qualcuno la chiede

Entrano nel momento in cui una persona fa una domanda o incolla il tuo link.

Si addestrano e rispondono

Un'unica chiave per entrambe le cose: se li blocchi, non ti citano nemmeno.

Servono solo ad addestrare modelli

Raccolgono testi per le prossime versioni. Bloccarli non ti toglie da nessuna risposta.

Se vuoi perfezionarlo

Un percorso per riga, come /carrello/ o /mio-account/. Un bot con un gruppo tutto suo smette di leggere le regole di «User-agent: *»: se lì blocchi qualcosa, ripetilo qui.

Li aiuta a trovare tutte le tue pagine.

Come aggiungerlo al tuo sito

  1. Copia il blocco. Così com'è, commenti compresi: spiegano cosa fa ogni parte a chi aprirà il file in futuro.

  2. Incollalo in fondo al tuo robots.txt. È il file che si trova su tuodominio.it/robots.txt. In WordPress si modifica da Yoast o Rank Math; in Shopify, nel template robots.txt.liquid; in Wix, negli strumenti SEO. Se non ne hai uno, questo blocco può essere il file intero.

  3. Cancella quello che c'era già su questi bot. Se un bot compare in due punti, contano entrambi, e un vecchio «Allow: /» gli apre la porta anche se più in basso c'è scritto «Disallow: /».

  4. Verifica che funzioni. robots.txt è solo metà del lavoro: il firewall o la CDN possono respingere un bot anche se qui è ammesso. L'analisi gratuita fa la prova con ciascuno.

Cosa robots.txt non fa

E il tuo sito, lascia entrare l'IA?

L'analisi gratuita legge il tuo robots.txt bot per bot, verifica se il tuo server li respinge e confronta ciò che vede una persona con ciò che riceve l'IA.

Analizza il mio sito gratis

Domande frequenti

  1. Se blocco GPTBot, sparisco da ChatGPT?

    No. GPTBot raccoglie testi per addestrare modelli. Per cercare e citarti, ChatGPT usa OAI-SearchBot e, per aprire una pagina che qualcuno gli chiede, ChatGPT-User. Puoi bloccare il primo e lasciar passare gli altri due.

  2. Bloccare Google-Extended mi toglie da AI Overviews?

    No. AI Overviews fa parte della Ricerca Google e usa ciò che legge Googlebot. Google-Extended decide solo se Gemini si addestra sul tuo sito e se lo usa per rispondere nella sua app.

  3. E ClaudeBot?

    Serve solo all'addestramento. Claude cerca con Claude-SearchBot e apre le pagine che gli chiedono con Claude-User, quindi puoi bloccare ClaudeBot senza uscire dalle sue risposte.

  4. Quanto ci mettono a rispettarlo?

    Ogni bot rilegge robots.txt per conto suo; Google, per esempio, lo tiene in cache fino a 24 ore. Non devi avvisare nessuno.

  5. Dove deve stare il file?

    Nella radice del dominio: tuodominio.it/robots.txt. Dentro una cartella non lo legge nessuno, e ogni sottodominio ha bisogno del suo.