Zitiert dich in Antworten
Claude-SearchBot: was es ist und wie du es erlaubst oder blockierst
Blockierst du ihn, kann Claude Search deine Website nicht lesen, wenn jemand nach deinem Angebot fragt, und zitiert dich nicht. Um in Antworten aufzutauchen, lass ihn herein.
Was es ist
Claude Search. Indexiert das Web für die Suchergebnisse von Claude.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: Claude-SearchBot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: Claude-SearchBot Allow: /
Blockieren
User-agent: Claude-SearchBot Disallow: /