Trainiert und antwortet
Google-Extended: was es ist und wie du es erlaubst oder blockierst
Derselbe Name entscheidet zwei Dinge: ob mit deinen Texten trainiert wird und ob du für Antworten genutzt wirst. Ihn zu blockieren schließt beide Türen auf einmal.
Was es ist
Google Gemini. Entscheidet, ob Gemini mit deiner Website trainiert und sie für Antworten in seiner App nutzt. Auf die Google-Suche und AI Overviews hat es keinen Einfluss.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: Google-Extended.
Die Zeilen für deine robots.txt
Erlauben
User-agent: Google-Extended Allow: /
Blockieren
User-agent: Google-Extended Disallow: /