Ti cita nelle risposte

Claude-SearchBot: cos’è e come consentirlo o bloccarlo

Se lo blocchi, Claude Search non può leggere il tuo sito quando qualcuno chiede di quello che fai, e non ti citerà. Per comparire nelle risposte, lascialo entrare.

Controlla se Claude-SearchBot può leggere il tuo sito

Tarsier prova il tuo sito con questo e altri crawler di IA e ti dice chi entra, chi no e perché.

Cos’è

Claude Search. Indicizza il web per le ricerche di Claude.

Come la maggior parte dei crawler di IA, legge l’HTML così come lo invia il tuo server: ciò che il tuo sito disegna con JavaScript potrebbe non arrivargli mai.

Come si identifica

Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)

È ciò che invia nell’intestazione User-Agent. In robots.txt si usa solo il nome breve: Claude-SearchBot.

Le righe per il tuo robots.txt

Consentirlo

User-agent: Claude-SearchBot
Allow: /

Bloccarlo

User-agent: Claude-SearchBot
Disallow: /
Crea il robots.txt completo

Altri crawler