Che differenza c’è tra bloccare in robots.txt ed essere «respinto» dal server?

robots.txt è una richiesta cortese: il bot la legge e sceglie di rispettarla. Essere respinto è un’altra cosa: il tuo firewall, la tua CDN (Cloudflare, per esempio) o un plugin di sicurezza risponde 403 o 429 anche se robots.txt lo lascia passare. Leggendo robots.txt non si vede, ed è molto comune.

Se blocco GPTBot, sparisco da ChatGPT?

No. GPTBot raccoglie solo testi per addestrare i modelli. Le ricerche di ChatGPT passano da OAI-SearchBot e ChatGPT-User. Puoi bloccare GPTBot e continuare a comparire nelle risposte.

Perché compare Google-Extended se non è un vero bot?

Google-Extended non fa richieste proprie: è un nome che esiste solo in robots.txt per decidere se Gemini usa il tuo sito. Lo verifichiamo in robots.txt e con ciò che il tuo server risponde a Googlebot.

Conservate il sito che verifico?

No. Questa verifica non viene salvata e non crea alcun report. Le richieste al tuo sito avvengono solo mentre aspetti.

Strumenti

L’IA può
leggere il tuo sito?

Leggiamo il tuo robots.txt bot per bot e chiamiamo il tuo sito con il nome di ogni crawler, come farebbe lui. Così si vede anche ciò che robots.txt non dice: un firewall o una CDN che li respinge.

Questo è un pezzo. L’analisi li guarda tutti.

In 30 secondi confrontiamo ciò che vede una persona sul tuo sito con ciò che riceve un crawler IA, ti diamo un voto e ti diciamo cosa sistemare per primo. L’analisi è gratuita.

Analizza il mio sito gratis

Domande

Che differenza c’è tra bloccare in robots.txt ed essere «respinto» dal server?
robots.txt è una richiesta cortese: il bot la legge e sceglie di rispettarla. Essere respinto è un’altra cosa: il tuo firewall, la tua CDN (Cloudflare, per esempio) o un plugin di sicurezza risponde 403 o 429 anche se robots.txt lo lascia passare. Leggendo robots.txt non si vede, ed è molto comune.
Se blocco GPTBot, sparisco da ChatGPT?
No. GPTBot raccoglie solo testi per addestrare i modelli. Le ricerche di ChatGPT passano da OAI-SearchBot e ChatGPT-User. Puoi bloccare GPTBot e continuare a comparire nelle risposte.
Perché compare Google-Extended se non è un vero bot?
Google-Extended non fa richieste proprie: è un nome che esiste solo in robots.txt per decidere se Gemini usa il tuo sito. Lo verifichiamo in robots.txt e con ciò che il tuo server risponde a Googlebot.
Conservate il sito che verifico?
No. Questa verifica non viene salvata e non crea alcun report. Le richieste al tuo sito avvengono solo mentre aspetti.

L’IA puòleggere il tuo sito?