Andersherum
Die KI bleibt draußen.
Google bleibt drin.
Wir prüfen, welche der 14 wichtigen KI-Crawler deine Website heute lesen können und welche nur gebeten werden, draußen zu bleiben. Und ob Google und Bing noch reinkommen. Danach bekommst du einen Plan, mit dem du die Tür schließt, ohne Besucher aus der Suche zu verlieren.
- GooglebotGoogle Searchbleibt
- BingbotBingbleibt
- GPTBotOpenAIdraußen
- ClaudeBotAnthropicdraußen
- Google-ExtendedGeminidraußen
- PerplexityBotPerplexitydraußen
- CCBotCommon Crawldraußen
- BytespiderByteDancedraußen
Was wir prüfen
robots.txt, Crawler für Crawler
Die 14 KI-Crawler, auf die es ankommt, von OpenAI bis Common Crawl. Wir lesen deine robots.txt so, wie jeder von ihnen sie liest.
Ob dein Server sie wirklich abweist
Wir klopfen als jeder einzelne Crawler an. Eine Zeile in der robots.txt ist eine Bitte, ein 403 von deinem Server ist ein Riegel.
Dein Nutzungsvorbehalt
Nach EU-Recht kannst du dir die Nutzung deiner Inhalte für Text und Data Mining in maschinenlesbarer Form vorbehalten, und KI-Unternehmen müssen das respektieren. Wir prüfen, ob du das tust.
Dass Google und Bing weiter reinkommen
Falsch umgesetzt werfen dich die meisten Methoden, KI zu blockieren, auch aus der Suche. Wir prüfen, dass dir das nicht passiert ist.
Der Plan, mit Absicht sanft
19 €19 $, einmalig: jeder Schritt, um die Tür zu schließen, fertig zum Kopieren und in der Reihenfolge, auf die es ankommt. Nichts, was dich Besucher aus der Suche kostet, und nichts, wofür du einen Entwickler brauchst, außer du willst auch den Riegel am Server.
- Dein robots.txt-Block mit den 14 KI-Crawlern, fertig zum Einfügen
- Der EU-Nutzungsvorbehalt, mit fertigem Tag und fertiger Datei
- Eine Klausel für deine Nutzungsbedingungen
- Wie du die Tür auf deinem Server oder CDN abschließt, ohne Google anzutasten
- Was du nicht anfassen solltest, um keine Besucher aus der Suche zu verlieren
- Ein Prompt, damit deine KI es in deinem Code umsetzt
Was wir nicht von dir verlangen
- Googlebot oder Bingbot blockieren oder alle Bots mit einer einzigen Zeile aussperren.
- noindex setzen oder deine Seiten auf andere Weise vor der Suche verstecken.
- Deinen Text aus den Google-Ergebnissen entfernen, damit er nicht in AI Overviews auftaucht.
- Deine Inhalte hinter JavaScript oder einem Login verstecken, um sie zu schützen.
Was dir niemand versprechen kann
- Was ein Modell schon gelernt hat, bleibt
- Die Sperre wirkt ab jetzt. Texte, die vorher gesammelt wurden, stecken schon in Modellen, die es heute gibt.
- Manche Crawler fragen nicht
- Die großen Unternehmen respektieren die robots.txt. Nicht jeder Bot tut das, und OpenAI und Perplexity sagen selbst, dass sich ihre Bots, die im Auftrag einer Person Seiten abrufen, womöglich nicht daran halten. Dafür gibt es den Riegel am Server.
- Die KI-Antworten von Google nutzen den Crawler von Google
- AI Overviews liest deine Website mit demselben Googlebot wie die Suche. Du kommst aus dem einen nicht raus, ohne das andere einzuschränken, und wir behaupten auch nicht das Gegenteil.
Fragen
Fliege ich damit aus Google raus?
Nein. Alles im Plan betrifft ausschließlich KI-Crawler. Die Google-Suche und Bing lesen deine Website weiter wie bisher, und die Prüfung sagt dir, falls sie schon etwas blockiert.
Verschwindet meine Website damit aus ChatGPT?
Die Crawler von OpenAI können sie ab jetzt nicht mehr lesen. Damit bist du raus aus der ChatGPT-Suche und aus künftigem Training. Was ein Modell schon gelernt hat, bleibt, und dein Text kann es weiterhin über Kopien auf anderen Websites erreichen.
Warum nicht einfach alle Bots blockieren?
Weil Suchmaschinen auch Bots sind. Ein einziges „Disallow: /“ für alle sperrt die KI aus und gleichzeitig deine Besucher von Google.
Ist die Prüfung kostenlos?
Ja, und sie zeigt dir genau, wer reinkommt. Bezahlt wird, einmalig, der Plan: die Dateien und Zeilen fertig zum Kopieren, der Nutzungsvorbehalt, die Server-Regel und ein Prompt für deine KI.
Soll die KI dich doch lesen? Hier geht es zur anderen Prüfung