Trainiert und antwortet
meta-externalagent: was es ist und wie du es erlaubst oder blockierst
Derselbe Name entscheidet zwei Dinge: ob mit deinen Texten trainiert wird und ob du für Antworten genutzt wirst. Ihn zu blockieren schließt beide Türen auf einmal.
Was es ist
Meta AI. Sammelt Texte, um die Modelle von Meta zu trainieren, und für die Antworten von Meta AI.
Wie die meisten KI-Crawler liest er das HTML genau so, wie dein Server es schickt: Was deine Website per JavaScript zeichnet, erreicht ihn womöglich nie.
Wie er sich ausweist
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
Das schickt er im User-Agent-Header. In robots.txt nutzt du nur den Kurznamen: meta-externalagent.
Die Zeilen für deine robots.txt
Erlauben
User-agent: meta-externalagent Allow: /
Blockieren
User-agent: meta-externalagent Disallow: /