Zitiert dich in Antworten
Bingbot: was es ist und wie du es erlaubst oder blockierst
Blockierst du ihn, kann Copilot / Bing (Quelle vieler KIs) deine Website nicht lesen, wenn jemand nach deinem Angebot fragt, und zitiert dich nicht. Um in Antworten aufzutauchen, lass ihn herein.
Was es ist
Copilot / Bing (Quelle vieler KIs).
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: Bingbot.
Die Zeilen für deine robots.txt
Erlauben
User-agent: Bingbot Allow: /
Blockieren
User-agent: Bingbot Disallow: /