Kostenlose Prüfung · KI-Sichtbarkeit
Findet ChatGPT meine Website?
Das weiß niemand sicher. Wer dir da eine Garantie gibt, verspricht zu viel. Was du wissen kannst: ob ChatGPT deine Seite überhaupt lesen darf.
Der Ausgangspunkt
Drei Fälle. Die meisten sind im dritten.
Auf jeder Website liegt eine kleine Datei, in der steht, wer die Seite
lesen darf. Sie heißt robots.txt und
ist öffentlich.
Freigegeben
Der Name steht in der Datei, der Zugriff ist erlaubt. Da hat jemand nachgedacht.
Gesperrt
Der Name steht drin, der Zugriff ist zu. Manchmal gewollt. Oft kam es mit einem Plugin mit.
Nichts eingetragen
Kein einziger dieser Namen taucht auf. Dann darf jeder rein. Entschieden hat das niemand.
Der dritte Fall ist der Normalfall. Die Datei kommt vom Baukasten oder vom Plugin, danach schaut keiner mehr rein. Bei den meisten Betrieben hat nie jemand die Frage gestellt.
Anleitung
So siehst du selbst nach.
-
1
Datei aufmachen
Tipp deine Adresse in den Browser und häng
/robots.txtdran.deine-domain.de/robots.txt
Du siehst eine Textdatei. Sieht unspektakulär aus, ist es auch. Kommt eine Fehlermeldung, gibt es die Datei nicht.
-
2
Nach den Namen suchen
Drück
Strg+F(Mac:Cmd+F) und such der Reihe nach:GPTBot ClaudeBot PerplexityBot Google-Extended
Findest du keinen davon, bist du im dritten Fall. So geht es den meisten.
-
3
Schauen, was drunter steht
Steht ein Name da, zählt die Zeile direkt darunter.
User-agent: GPTBot Disallow: / <- gesperrt User-agent: GPTBot Allow: / <- freigegeben
Der Schrägstrich hinter
Disallowsperrt die ganze Website. Steht dort ein Pfad wie/intern/, ist nur der Bereich zu. -
4
Für Technikaffine: im Terminal
Ein Befehl, alle Treffer auf einmal.
curl -s deine-domain.de/robots.txt | grep -i gpt
Statt
gptgehen auchclaude,perplexityoderextended. Kommt nichts zurück, steht auch nichts drin.
Ein Fall, den fast alle übersehen.
Wirft dein Server bei der robots.txt einen Fehler aus, statt die Datei zu liefern, behandeln viele Programme das wie eine komplette Sperre. Gar keine Datei zu haben ist harmlos. Eine kaputte ist es nicht.
Die Namen
Wer da anklopft.
Manche Programme sammeln Material für die Trainingsdaten der Modelle. Andere holen deine Seite erst in dem Moment, in dem jemand eine Frage stellt. Der Unterschied ist wichtig, wenn du etwas sperren willst.
Ein Beispiel: GPTBot ist das Programm, mit dem OpenAI Seiten für die Trainingsdaten abruft. OAI-SearchBot und ChatGPT-User gehören derselben Firma, holen deine Seite aber erst, wenn jemand in ChatGPT eine Frage stellt. Wer gefunden werden will, aber nicht im Training landen möchte, sperrt den ersten und lässt die beiden anderen zu.
| Name | Gehört zu | Holt Seiten für |
|---|---|---|
| GPTBot | OpenAI | Training |
| OAI-SearchBot | OpenAI | KI-Suche |
| ChatGPT-User | OpenAI | KI-Suche |
| ClaudeBot | Anthropic | Training |
| Claude-SearchBot | Anthropic | KI-Suche |
| Claude-User | Anthropic | KI-Suche |
| PerplexityBot | Perplexity | beides |
| Google-Extended | Training | |
| Applebot-Extended | Apple | Training |
| CCBot | Common Crawl | Training |
| Bytespider | ByteDance | Training |
| meta-externalagent | Meta | Training |
Liste vom . Die Anbieter benennen ihre Programme gelegentlich um.
Der andere Weg
Wenn du KI-Dienste aussperren willst.
Manche wollen genau das Gegenteil: nicht gefunden werden, sondern die eigenen Texte und Bilder aus den Trainingsdaten heraushalten. Das geht in derselben Datei.
Trag pro Programm zwei Zeilen ein. Oben der Name, darunter der Schrägstrich:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: /
Erst überlegen, dann sperren.
Die Trainings-Crawler zu sperren hält deine Texte aus den Modellen raus. Sperrst du auch die Such-Crawler, verschwindest du aus den Antworten, die ChatGPT und Perplexity im Moment der Frage zusammenstellen. Für einen Betrieb, der Kunden sucht, ist das meistens der falsche Weg. Für einen Verlag oder ein Fotostudio kann es genau richtig sein.
Die Datei muss im Hauptverzeichnis liegen, damit sie unter
deine-domain.de/robots.txt erreichbar
ist. Bei WordPress macht das meistens ein Plugin, bei Baukästen gibt es
eine Einstellung dafür. Und eine Bitte: Prüf danach, ob die Datei noch da
ist. Ich habe schon Seiten gesehen, bei denen nach dem Eintragen gar
nichts mehr kam.
Kostenlos, ohne Bedingungen
Oder ich schau für dich rein.
Du gibst mir deine Adresse, ich prüfe deine Startseite und schicke dir das Ergebnis schriftlich.
- Wer darf reinWelche KI-Dienste deine Seite lesen dürfen und welche ausgesperrt sind.
- Versteckte BremsenOb deine Seite aus Versehen auf „nicht anzeigen" steht oder der Server einen Fehler wirft.
- Was Maschinen lesenOb Adresse, Telefonnummer und E-Mail als Text dastehen oder nur im Bild.
- Zum NachprüfenZu jedem Punkt die Stelle aus deinem Quelltext im Original.
Grenzen
Was ich damit nicht sagen kann.
-
Ob wirklich ein Programm bei dir war
Das sehe ich nicht. Es steht nur in den Protokolldateien auf deinem Server. Da kommt keiner von außen ran. Du schon.
-
Ob ChatGPT deine Firma nennt
Auch nicht. Freigeben ist die Voraussetzung dafür, dass es überhaupt möglich ist. Mehr ist es nicht.
-
Wie oft dein Name in Antworten auftaucht
Das lässt sich nicht seriös messen. Dieselbe Frage, morgen gestellt, bringt eine andere Antwort. Wer dir dafür eine Zahl verkauft, verkauft dir eine Momentaufnahme.
Was die Prüfung leistet: Sie zeigt dir, woran es liegen könnte. Den Beweis holst du dir aus deinen eigenen Protokollen. Wie das geht, zeig ich dir gern.
Wer das anbietet
rankwell aus Hamburg.
rankwell sorgt dafür, dass lokale Betriebe gefunden werden. Bei Google und in KI-Assistenten. Eine Person, ein Ansprechpartner: Didier Ramos Silva Có.
Diese Prüfung kommt also von jemandem, der zu dem Thema auch Beratung verkauft. Deshalb steht oben, was sie nicht kann. Das Ergebnis gehört dir, ob du buchst oder nicht.