Ti cita nelle risposte

OAI-SearchBot: cos’è e come consentirlo o bloccarlo

Se lo blocchi, ChatGPT Search non può leggere il tuo sito quando qualcuno chiede di quello che fai, e non ti citerà. Per comparire nelle risposte, lascialo entrare.

Controlla se OAI-SearchBot può leggere il tuo sito

Tarsier prova il tuo sito con questo e altri crawler di IA e ti dice chi entra, chi no e perché.

Cos’è

ChatGPT Search. Indicizza il web per le ricerche di ChatGPT. Senza di lui, ChatGPT non ti linka come fonte.

Come la maggior parte dei crawler di IA, legge l’HTML così come lo invia il tuo server: ciò che il tuo sito disegna con JavaScript potrebbe non arrivargli mai.

Come si identifica

Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

È ciò che invia nell’intestazione User-Agent. In robots.txt si usa solo il nome breve: OAI-SearchBot.

Le righe per il tuo robots.txt

Consentirlo

User-agent: OAI-SearchBot
Allow: /

Bloccarlo

User-agent: OAI-SearchBot
Disallow: /
Crea il robots.txt completo

Altri crawler