Nur Training
GPTBot: was es ist und wie du es erlaubst oder blockierst
Ihn zu blockieren hält deine Texte aus dem Training künftiger Modelle heraus, nimmt dich aber nicht aus den Antworten: Dafür sind andere Bots zuständig. Beides ist eine legitime Entscheidung.
Was es ist
OpenAI GPTBot. Sammelt Texte, um die Modelle von OpenAI zu trainieren. Blockierst du ihn, bleibst du trotzdem in ChatGPT.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: GPTBot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: GPTBot Allow: /
Blockieren
User-agent: GPTBot Disallow: /