Kostenloses Tool

robots.txt für KI-Crawler,
Bot für Bot erklärt.

Manche Bots zitieren dich in den Antworten von ChatGPT, Claude oder Perplexity. Andere sammeln nur Texte, um Modelle zu trainieren. Wähle aus, wer reindarf, und kopiere den fertigen Block.

Starte mit einer Vorlage

Dein robots.txt-Block

9 erlaubt · 5 blockiert

robots.txt
# KI-Crawler · erstellt mit Tarsier · https://gettarsier.com/de/robots-txt
# Füge das am Ende deiner robots.txt ein und lösche alle anderen Zeilen, die diese Bots nennen.

# Dürfen die Website lesen
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
Allow: /

# Dürfen die Website nicht lesen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Bot für Bot

Sie zitieren dich in ihren Antworten

Sie indexieren das Web, um mit Links zu ihren Quellen zu antworten. Kommen sie nicht rein, tauchst du nicht auf.

Sie lesen deine Seite, wenn jemand danach fragt

Sie kommen in dem Moment, in dem jemand eine Frage stellt oder deinen Link einfügt.

Sie trainieren und antworten

Ein Schlüssel für beides: Sperrst du sie aus, zitieren sie dich auch nicht.

Sie trainieren nur Modelle

Sie sammeln Texte für künftige Versionen. Sperrst du sie aus, verschwindest du aus keiner Antwort.

Feineinstellungen

Ein Pfad pro Zeile, etwa /warenkorb/ oder /mein-konto/. Ein Bot mit eigener Gruppe liest die Regeln unter „User-agent: *“ nicht mehr: Was du dort sperrst, musst du hier wiederholen.

Damit finden sie alle deine Seiten.

So kommt der Block auf deine Website

  1. Kopiere den Block. So, wie er ist, mit den Kommentaren: Sie erklären jedem, der die Datei später öffnet, was welcher Teil tut.

  2. Füg ihn am Ende deiner robots.txt ein. Das ist die Datei unter deinedomain.de/robots.txt. In WordPress bearbeitest du sie über Yoast oder Rank Math, in Shopify im Template robots.txt.liquid, in Wix in den SEO-Tools. Hast du noch keine, taugt dieser Block als komplette Datei.

  3. Lösch alte Einträge zu diesen Bots. Steht ein Bot an zwei Stellen, zählen beide. Ein altes „Allow: /“ öffnet ihm die Tür, auch wenn weiter unten „Disallow: /“ steht.

  4. Prüf, ob es funktioniert. robots.txt ist nur die halbe Miete: Die Firewall oder das CDN können einen Bot abweisen, auch wenn er hier erlaubt ist. Die kostenlose Analyse testet jeden einzeln.

Was robots.txt nicht kann

Und deine Website: Lässt sie die KI rein?

Die kostenlose Analyse liest deine robots.txt Bot für Bot, testet, ob dein Server sie abweist, und vergleicht, was ein Mensch sieht, mit dem, was die KI erhält.

Meine Website kostenlos analysieren

Häufige Fragen

  1. Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?

    Nein. GPTBot sammelt Texte, um Modelle zu trainieren. Zum Suchen und Zitieren nutzt ChatGPT den OAI-SearchBot, und um eine Seite zu öffnen, nach der jemand fragt, ChatGPT-User. Du kannst den ersten sperren und die anderen beiden reinlassen.

  2. Falle ich aus den AI Overviews, wenn ich Google-Extended blockiere?

    Nein. AI Overviews gehören zur Google-Suche und nutzen, was Googlebot liest. Google-Extended entscheidet nur, ob Gemini mit deiner Website trainiert und sie für Antworten in der eigenen App nutzt.

  3. Und ClaudeBot?

    Er trainiert nur. Claude sucht mit Claude-SearchBot und öffnet angefragte Seiten mit Claude-User. Du kannst ClaudeBot also sperren und bleibst trotzdem in Claudes Antworten.

  4. Wie lange dauert es, bis sie sich daran halten?

    Jeder Bot liest robots.txt in seinem eigenen Rhythmus neu ein. Google zum Beispiel speichert die Datei bis zu 24 Stunden zwischen. Benachrichtigen musst du niemanden.

  5. Wo muss die Datei liegen?

    Im Hauptverzeichnis der Domain: deinedomain.de/robots.txt. In einem Unterordner liest sie niemand, und jede Subdomain braucht ihre eigene.