Entrena y responde
GrokBot: qué es y cómo dejarlo entrar o bloquearlo
El mismo nombre decide dos cosas: si entrenan con tus textos y si te usan para responder. Bloquearlo cierra las dos puertas a la vez.
Qué es
Grok (xAI). Para Grok, la IA de xAI que vive dentro de X: entrena sus modelos y responde con lo que lee. Ojo: parte de su tráfico llega como un navegador normal y no mira robots.txt.
Como la mayoría de rastreadores de IA, lee el HTML tal como lo manda tu servidor: lo que tu web pinta con JavaScript puede no llegarle nunca.
Cómo se identifica
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai)
Es lo que manda en la cabecera User-Agent. En robots.txt se usa solo el nombre corto: GrokBot.
Las líneas para tu robots.txt
Dejarlo entrar
User-agent: GrokBot Allow: /
Bloquearlo
User-agent: GrokBot Disallow: /