Si addestra e risponde

Google-Extended: cos’è e come consentirlo o bloccarlo

Lo stesso nome decide due cose: se si addestrano sui tuoi testi e se ti usano per rispondere. Bloccarlo chiude entrambe le porte.

Controlla se Google-Extended può leggere il tuo sito

Tarsier prova il tuo sito con questo e altri crawler di IA e ti dice chi entra, chi no e perché.

Cos’è

Google Gemini. Decide se Gemini si addestra sul tuo sito e se lo usa per rispondere nella sua app. Non tocca la Ricerca Google né AI Overviews.

Come la maggior parte dei crawler di IA, legge l’HTML così come lo invia il tuo server: ciò che il tuo sito disegna con JavaScript potrebbe non arrivargli mai.

Come si identifica

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

È ciò che invia nell’intestazione User-Agent. In robots.txt si usa solo il nome breve: Google-Extended.

Le righe per il tuo robots.txt

Consentirlo

User-agent: Google-Extended
Allow: /

Bloccarlo

User-agent: Google-Extended
Disallow: /
Crea il robots.txt completo

Altri crawler