Zitiert dich in Antworten
OAI-SearchBot: was es ist und wie du es erlaubst oder blockierst
Blockierst du ihn, kann ChatGPT Search deine Website nicht lesen, wenn jemand nach deinem Angebot fragt, und zitiert dich nicht. Um in Antworten aufzutauchen, lass ihn herein.
Was es ist
ChatGPT Search. Indexiert das Web für die Suche in ChatGPT. Ohne ihn verlinkt ChatGPT dich nicht als Quelle.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: OAI-SearchBot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: OAI-SearchBot Allow: /
Blockieren
User-agent: OAI-SearchBot Disallow: /