Entrena y responde
Google-Extended: qué es y cómo dejarlo entrar o bloquearlo
El mismo nombre decide dos cosas: si entrenan con tus textos y si te usan para responder. Bloquearlo cierra las dos puertas a la vez.
Qué es
Google Gemini. Decide si Gemini entrena con tu web y si la usa para responder en su app. No toca Google ni AI Overviews.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: Google-Extended.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: Google-Extended Allow: /
Bloquearlo
User-agent: Google-Extended Disallow: /