Trainiert und antwortet
GrokBot: was es ist und wie du es erlaubst oder blockierst
Derselbe Name entscheidet zwei Dinge: ob mit deinen Texten trainiert wird und ob du für Antworten genutzt wirst. Ihn zu blockieren schließt beide Türen auf einmal.
Was es ist
Grok (xAI). Für Grok, die KI von xAI in X: Sie trainiert ihre Modelle und antwortet mit dem, was sie liest. Achtung: Ein Teil ihres Traffics kommt als normaler Browser und ignoriert robots.txt.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: GrokBot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: GrokBot Allow: /
Blockieren
User-agent: GrokBot Disallow: /