S’entraîne et répond
GrokBot : ce que c’est et comment l’autoriser ou le bloquer
Le même nom décide deux choses : s’ils s’entraînent sur vos textes et s’ils vous utilisent pour répondre. Le bloquer ferme les deux portes à la fois.
Ce que c’est
Grok (xAI). Pour Grok, l’IA de xAI intégrée à X : elle entraîne ses modèles et répond avec ce qu’elle lit. Attention : une partie de son trafic arrive comme un navigateur normal et ignore robots.txt.
Comme la plupart des robots d’IA, il lit le HTML tel que votre serveur l’envoie : ce que votre site dessine en JavaScript peut ne jamais lui parvenir.
Comment il s’identifie
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai)
C’est ce qu’il envoie dans l’en-tête User-Agent. Dans robots.txt, on n’utilise que le nom court : GrokBot.
Les lignes pour votre robots.txt
L’autoriser
User-agent: GrokBot Allow: /
Le bloquer
User-agent: GrokBot Disallow: /