Nur Training
ClaudeBot: was es ist und wie du es erlaubst oder blockierst
Ihn zu blockieren hält deine Texte aus dem Training künftiger Modelle heraus, nimmt dich aber nicht aus den Antworten: Dafür sind andere Bots zuständig. Beides ist eine legitime Entscheidung.
Was es ist
Anthropic ClaudeBot. Sammelt Texte, um die Modelle von Anthropic zu trainieren. Blockierst du ihn, bleibst du trotzdem in Claude.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: ClaudeBot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: ClaudeBot Allow: /
Blockieren
User-agent: ClaudeBot Disallow: /