Si addestra e risponde
GrokBot: cos’è e come consentirlo o bloccarlo
Lo stesso nome decide due cose: se si addestrano sui tuoi testi e se ti usano per rispondere. Bloccarlo chiude entrambe le porte.
Cos’è
Grok (xAI). Per Grok, l’IA di xAI integrata in X: addestra i suoi modelli e risponde con ciò che legge. Attenzione: parte del suo traffico arriva come un normale browser e ignora robots.txt.
Come la maggior parte dei crawler di IA, legge l’HTML così come lo invia il tuo server: ciò che il tuo sito disegna con JavaScript potrebbe non arrivargli mai.
Come si identifica
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai)
È ciò che invia nell’intestazione User-Agent. In robots.txt si usa solo il nome breve: GrokBot.
Le righe per il tuo robots.txt
Consentirlo
User-agent: GrokBot Allow: /
Bloccarlo
User-agent: GrokBot Disallow: /