# So öffnen Sie Ihre Website für die Such-Crawler von ChatGPT, Claude und Perplexity > Namen von Such- und Trainings-Crawlern, ein vollständiges robots.txt-Beispiel, Sitemap, Textverfügbarkeit und Einschränkungen bei Zitaten. Source: https://ailoot.ai/blog/de/ai-search-crawlers-robots-txt/ Canonical: https://ailoot.ai/blog/de/ai-search-crawlers-robots-txt/ Language: de Publisher: Ailoot (https://ailoot.ai/) Translation: guide-144 Revision: sha256-c111d9c6189e431bfb753e74d8862b2f3d514f7485cbbfab2ccf88aaa6c04b9e Sie haben eine Website oder ein Produkt erstellt, aber wenn jemand fragt: „Empfiehl einen Dienst für diese Aufgabe“, erwähnen ChatGPT, Claude und Perplexity es nicht. Es lohnt sich zu prüfen, ob ein Assistent Ihre Website lesen kann und ob der Zugriff blockiert ist. Es gibt keine Schaltfläche, um „in eine KI-Antwort zu kommen“, und niemand kann ein Zitat garantieren. ChatGPT, Claude und Perplexity haben eigene Crawler für die Suche: Sie können ihnen über `robots.txt` den Zugriff auf Ihre Website erlauben. Prüfen Sie anschließend, ob sie auf den Seitentext zugreifen können und ob die Sicherheit Ihrer Website den Zugriff verhindert.
Praktische Anleitungen zur Arbeit mit Ailoot finden Sie in der [Dokumentation](https://ailoot.ai/docs/).
## Was bedeutet es, für „KI sichtbar“ zu sein?
Das Wichtigste KI-Assistenten haben Crawler für unterschiedliche Aufgaben: Einige sammeln Websites für die Suche im Assistenten, andere sammeln Texte zum Trainieren von Modellen. Für Suchantworten ist der erste Typ relevant. Sie können einem Crawler Zugriff erlauben, aber das verpflichtet den Assistenten nicht, Sie zu zitieren – niemand kann ein Zitat garantieren.
Wenn jemand ChatGPT oder Perplexity fragt: „Wo kann ich etwas über X lesen?“ oder „Welchen Dienst sollte ich wählen?“, durchsucht der Assistent manchmal das Web und fügt Links zu Seiten hinzu. Damit Ihre Seite in diese Liste möglicher Ergebnisse aufgenommen wird, muss der Crawler des Assistenten sie gelesen haben und darf keinen verweigerten Zugriff erhalten haben. Auf Ihrer Website sollten Sie drei Dinge prüfen: - Der Crawler kann auf die Website zugreifen: Er ist nicht in `robots.txt` blockiert, und Sicherheitsmaßnahmen verhindern den Zugriff nicht. - Der Crawler kann den Seitentext sehen und nicht nur eine leere Hülle, die der Browser füllt. - Die Seite beantwortet eine konkrete Frage ehrlich und klar, statt eine Antwort durch eine Liste von Schlüsselwörtern zu ersetzen. Beginnen Sie mit dem Zugriff: Wenn der Crawler die Seite nicht lesen konnte, erhält er auch nicht den hilfreichen Text darauf. ## Worin unterscheidet sich ein Such-Crawler von einem Trainings-Crawler?
Das Wichtigste Jeder große Assistent hat Crawler mit getrennten Aufgaben. Ein Such-Crawler sammelt Websites, damit sie in den Antworten und Suchergebnissen des Assistenten erscheinen können. Ein Trainings-Crawler sammelt Texte, um ein Modell zu trainieren. Diese Einstellungen sind unabhängig: Sie können den Such-Crawler zulassen und den Trainings-Crawler blockieren.
Der Zugriff sollte für jeden Crawler separat erlaubt oder blockiert werden. Eine allgemeine Entscheidung, „KI auf die Website zu lassen“, berücksichtigt die Unterschiede zwischen ihren Aufgaben nicht. - **Ein Such-Crawler** ermöglicht es, dass Ihre Seiten in den Antworten des Assistenten erscheinen, wenn jemand etwas fragt. Erlauben Sie ihn, wenn Ihre Website für die Suche verfügbar sein soll. - **Ein Trainings-Crawler** sammelt Texte, die zum Trainieren künftiger Modellversionen verwendet werden können. Ob Sie ihn zulassen, entscheiden Sie selbst; dies wirkt sich nicht direkt darauf aus, ob Sie in aktuellen Suchantworten erscheinen. Die Dokumentation von OpenAI nennt ein Beispiel: Sie können einem Such-Crawler erlauben, Ihre Website zu crawlen, während Sie den Trainings-Crawler blockieren, damit der Text Ihrer Website nicht für das Training verwendet wird. Diese beiden Einstellungen werden unabhängig voneinander in derselben Datei konfiguriert. ## Wie heißen die Crawler von ChatGPT, Claude und Perplexity?
Das Wichtigste Bei OpenAI heißt der Such-Crawler OAI-SearchBot, der Trainings-Crawler GPTBot, und ChatGPT-User besucht die Website auf Anfrage des Nutzers. Bei Anthropic: Claude-SearchBot (Suche), ClaudeBot (Training) und Claude-User (auf Anfrage des Nutzers). Bei Perplexity: PerplexityBot (Suche) und Perplexity-User (auf Anfrage des Nutzers). Google hat ein eigenes Google-Extended-Token, das die Nutzung von Website-Inhalten für generative KI steuert.
Um den Zugriff zu konfigurieren, benötigen Sie die genauen Crawler-Namen (user-agent), die Sie in `robots.txt` angeben. Die Tabelle führt die Namen und Aufgaben gemäß der offiziellen Dokumentation der jeweiligen Anbieter mit Stand September 2026 auf. | Crawler (user-agent) oder Token | Gehört zu | Aufgabe | Für Sichtbarkeit zulassen? | |----|----|----|----| | `OAI-SearchBot` | OpenAI | Zeigt Websites in der ChatGPT-Suche an | Ja | | `GPTBot` | OpenAI | Sammelt Texte zum Trainieren von Modellen | Ihre Entscheidung | | `ChatGPT-User` | OpenAI | Besucht eine Seite auf Anfrage des Nutzers | In der Regel ja | | `Claude-SearchBot` | Anthropic | Indexiert Websites, um die Suchqualität zu verbessern | Ja | | `ClaudeBot` | Anthropic | Sammelt Texte zum Trainieren von Modellen | Ihre Entscheidung | | `Claude-User` | Anthropic | Besucht eine Seite auf Anfrage eines Claude-Nutzers | In der Regel ja | | `PerplexityBot` | Perplexity | Zeigt Websites in der Suche an und verlinkt auf sie | Ja | | `Perplexity-User` | Perplexity | Besucht eine Seite auf Anfrage des Nutzers | In der Regel ja | | `Google-Extended` | Google | Ein Token, das die Nutzung von Website-Inhalten für generative KI von Google steuert | Ihre Entscheidung | Die Crawler `ChatGPT-User`, `Claude-User` und `Perplexity-User` besuchen eine Seite auf Anfrage einer Person in einer Unterhaltung, aber jeder Anbieter hat andere Zugriffsregeln. OpenAI sagt, dass `robots.txt`-Regeln möglicherweise nicht für `ChatGPT-User` gelten. Perplexity sagt, dass `Perplexity-User` sie normalerweise ignoriert, weil der Besuch vom Nutzer ausgelöst wurde. Anthropic steuert den Zugriff von `Claude-User` über `robots.txt`: Wenn Sie ihn dort blockieren, ruft Claude als Antwort auf Nutzeranfragen keine Seiten ab. Der Zugriff für Such-Crawler wird separat konfiguriert. `Google-Extended` hat beim Crawlen keine eigene user-agent-Zeile – es ist ausschließlich ein Steuerungs-Token in `robots.txt`. Es legt fest, ob Ihre Inhalte für generative KI von Google verwendet werden können, und wirkt sich nicht auf die normale Google-Suche aus. Wenn Sie eine Website mit klarer Struktur und zugänglichen Texten erstellen möchten, überlegen Sie, wie Sie die Informationen organisieren. ## So erlauben Sie Crawler in robots.txt: Schritt für Schritt
Das Wichtigste Die Datei robots.txt liegt im Stammverzeichnis der Website und legt Zugriffsregeln für Crawler fest. Um den Such-Crawlern der Assistenten Zugriff zu erlauben, fügen Sie ihre user-agents mit Crawl-Berechtigung hinzu. Jede Subdomain benötigt eine eigene Datei.
`robots.txt` ist eine reine Textdatei im Stammverzeichnis Ihrer Website und unter einer Adresse wie `https://example.com/robots.txt` erreichbar. Crawler lesen sie vor dem Crawlen und befolgen ihre Anweisungen, vorbehaltlich der oben beschriebenen Ausnahmen für Besuche auf Nutzeranfrage. 1. **Öffnen Sie Ihre aktuelle Datei.** Geben Sie die Adresse Ihrer Website in einem Browser ein und ergänzen Sie `/robots.txt`. Prüfen Sie, was bereits in der Datei steht und ob die benötigten Crawler versehentlich durch eine Zeile `Disallow: /` blockiert sind. Achten Sie auch auf `Disallow:`-Zeilen für geschützte Bereiche – Kontoseiten, Zahlungsseiten und den Admin-Bereich; Sie benötigen sie im nächsten Schritt. 2. **Fügen Sie eine Gruppe für die Such-Crawler der Assistenten hinzu.** Jede Gruppe gibt einen Crawler-Namen und Zugriffsregeln an. Um Crawling zu erlauben, verwenden Sie `Allow: /`. Ein Crawler befolgt die Regeln der Gruppe, in der sein Name separat angegeben ist; er übernimmt keine Regeln aus der allgemeinen Gruppe `User-agent: *`. Einschränkungen, die nur in `User-agent: *` stehen, gelten nicht für diesen Crawler. Wenn Sie geschützte Bereiche haben, wiederholen Sie dieselben `Disallow:`-Zeilen in jeder neuen Gruppe; andernfalls sind sie für diesen Crawler zugänglich. 3. **Entscheiden Sie separat über Trainings-Crawler.** Wenn Sie nicht möchten, dass Texte für das Training verwendet werden, setzen Sie `Disallow: /` für `GPTBot` und `ClaudeBot`. Dies wirkt sich nicht auf die Sichtbarkeit in der Suche aus. 4. **Speichern Sie die Datei im Stammverzeichnis Ihrer Website** und prüfen Sie, ob sie unter `/robots.txt` geöffnet werden kann. Wenn Sie Subdomains haben (zum Beispiel `blog.example.com`), benötigt jede ihre eigene Datei – Crawler lesen die Datei der jeweiligen Subdomain. Bevor Sie das Beispiel kopieren, prüfen Sie die Einschränkungen für geschützte Bereiche. Wenn Sie `Disallow: /dashboard/` nur in `User-agent: *` belassen, gilt die Regel nicht für `OAI-SearchBot`, der eine eigene Gruppe hat. Führen Sie geschützte Pfade in jeder Gruppe auf, in der Sie einem Crawler das Crawlen erlauben. Im folgenden Beispiel sind die Such-Crawler der Assistenten zugelassen, aber der geschützte Bereich `/dashboard/` ist direkt in ihren Gruppen gesperrt; Trainings-Crawler sind vollständig blockiert. Das Blockieren von Trainings-Crawlern ist optional – es ist Ihre Entscheidung, und Sie sollten die Liste der geschützten Pfade durch Ihre eigenen ersetzen. ``` # Such-Crawlern von Assistenten den Zugriff ermöglichen, aber geschützte Bereiche sperren User-agent: OAI-SearchBot Allow: / Disallow: /dashboard/ User-agent: Claude-SearchBot Allow: / Disallow: /dashboard/ User-agent: PerplexityBot Allow: / Disallow: /dashboard/ # Trainings-Crawler sperren (optional) User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / # Die Sitemap hilft Crawlern, alle Seiten zu finden Sitemap: https://example.com/sitemap.xml ``` Laut der Dokumentation von OpenAI und Perplexity kann es etwa einen Tag dauern, bis ihre Systeme Änderungen an `robots.txt` berücksichtigen. Erwarten Sie nach dem Speichern der Datei keine sofortige Wirkung. ## Wie sieht das auf einer aktiven Website aus? Im beschriebenen Beispiel für `robots.txt`-Einstellungen sind die Namen der Assistenten-Crawler – `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` und weitere – in einer Gruppe zusammengefasst. Darunter stehen `Allow: /` und dieselben `Disallow:`-Zeilen für geschützte Bereiche wie in der allgemeinen Gruppe `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` und weitere. Die Sitemap-URLs sind am Ende der Datei mit der Direktive `Sitemap:` aufgeführt. Die Einschränkungen werden in der Gruppe der Assistenten-Crawler wiederholt, damit geschützte Bereiche auch für sie gesperrt sind. Sie können die `/robots.txt`-Datei jeder Website öffnen und ihre Konfiguration ansehen – die Datei ist immer öffentlich. ## Was hilft Crawlern außerdem, eine Website zu verstehen?
Das Wichtigste Prüfen Sie nach der Konfiguration des Zugriffs, ob der Seitentext ohne Browser-Skripte sichtbar ist, ob es eine sitemap.xml-Datei gibt und ob die Antwort selbst klar ist.
Selbst wenn Crawling erlaubt ist, erhält ein Crawler möglicherweise nicht den Inhalt der Seite. Prüfen Sie neben den Zugriffsregeln auch, wie die Website Texte bereitstellt und Menschen dabei hilft, ihre Inhalte zu finden. - **Der Text ist sofort verfügbar.** Wenn Skripte den Seiteninhalt im Browser rendern, sehen manche Crawler eine leere Hülle. Um das zu prüfen, öffnen Sie die Seite, wählen Sie „Seitenquelltext anzeigen“ und suchen Sie nach Ihrem Text. Wenn er dort nicht zu finden ist und nur in der normalen Seitenansicht erscheint, müssen Sie prüfen, wie die Seite bereitgestellt wird. - **Es gibt eine Sitemap.** Die Datei `sitemap.xml` enthält eine Liste aller Ihrer Seiten. Sie hilft Crawlern, keine Inhalte zu übersehen. Fügen Sie in `robots.txt` mit einer Zeile `Sitemap:` einen Link darauf hinzu. - **Die Antwort ist für Menschen klar.** Die Crawler der Assistenten suchen nach Seiten, die eine Frage beantworten. Eine klare Überschrift, eine kurze Antwort zu Beginn und ehrliche Formulierungen funktionieren besser als eine Liste von Schlüsselwörtern. ## Warum ist eine Website für KI möglicherweise unsichtbar?
Das Wichtigste Drei mögliche Ursachen sollten geprüft werden: Der Crawler ist in robots.txt blockiert, der Text wird durch Skripte erzeugt und ist ohne Browser nicht sichtbar, oder die Sicherheitseinstellungen der Website blockieren Crawler. Im ersten Fall prüfen Sie die Datei, im zweiten die Bereitstellung der Seiten und im dritten die Sicherheitseinstellungen.
Wenn Ihre Website nicht in Antworten erscheint, prüfen Sie diese möglichen Zugriffshindernisse. - **Der Crawler ist in `robots.txt` blockiert.** Manchmal enthält die Datei eine allgemeine Einschränkung, die die benötigten Crawler blockiert. Prüfen Sie, ob es in einer für Assistenten-Crawler geltenden Gruppe ein `Disallow: /` gibt. - **Der Text ist ohne Browser nicht sichtbar.** Wenn Skripte den Inhalt erzeugen, erhält der Crawler ihn möglicherweise nicht. Die Prüfung des Quellcodes ist oben beschrieben. - **Die Sicherheitseinstellungen der Website blockieren Crawler.** Viele Websites nutzen Schutz vor unerwünschtem Datenverkehr – zum Beispiel Cloudflare. Dieser kann den Zugriff unabhängig von `robots.txt` blockieren. Mit `robots.txt` steuern Sie, wohin ein Crawler gehen darf; die Sicherheitseinstellungen der Website entscheiden, ob seine Anfrage durchgelassen wird. Perplexity empfiehlt, Crawler in den Sicherheitseinstellungen anhand ihrer user-agent-Namen und veröffentlichten IP-Adressen manuell zuzulassen. Legen Sie Crawl-Regeln über `robots.txt` fest: Anthropic warnt separat, dass das Blockieren von Crawlern ausschließlich anhand der IP-Adresse unzuverlässig ist. Wenn Sie einen ähnlichen Dienst nutzen, prüfen Sie dessen Einstellungen. Prüfen Sie die Ursachen einzeln: Beginnen Sie mit `robots.txt`, sehen Sie sich dann den Quellcode der Seite an und prüfen Sie anschließend die Sicherheitseinstellungen. Dass diese Hindernisse nicht vorhanden sind, garantiert für sich allein nicht, dass Ihre Website in Antworten erscheint. ## Wie können Sie prüfen, ob ein Crawler die Seite erreicht hat?
Das Wichtigste Es gibt keinen direkten Zähler für „Ich wurde zitiert“. Sie können aber die Grundlagen prüfen: ob robots.txt geöffnet werden kann, ob der Text im Quellcode sichtbar ist und ob die Sitemap verfügbar ist. Crawler-Besuche sind in den Serverprotokollen anhand ihres user-agent sichtbar.
Mit dieser Prüfung können Sie die Zugänglichkeit Ihrer Website einschätzen und Einträge zu Crawler-Besuchen finden. - Öffnen Sie `https://example.com/robots.txt` in einem Browser – die Datei sollte sich öffnen und die erforderlichen Gruppen enthalten. - Öffnen Sie die Sitemap unter `https://example.com/sitemap.xml` – sie sollte sich öffnen und Seiten auflisten. - Sehen Sie sich den Quellcode einer wichtigen Seite an und suchen Sie darin nach Ihrem Text. - Wenn Sie Zugriff auf Serverprotokolle haben, suchen Sie darin nach Crawler-Namen – `OAI-SearchBot`, `PerplexityBot` und anderen. Ihre Besuche sind anhand des user-agent sichtbar. Die Prüfung zeigt nicht, ob der Assistent gerade Ihre Seite auswählen wird. Das hängt von der Frage des Nutzers und davon ab, wie gut die Seite sie beantwortet. ## Was die Einstellungen nicht garantieren Der Zugriff auf Ihre Website und ihr Erscheinen in einer Antwort des Assistenten sind unterschiedliche Ergebnisse. Diese Einstellungen haben Einschränkungen. - **Ein Zitat ist nicht garantiert.** Offener Zugriff gibt einem Crawler lediglich die Möglichkeit, Ihre Website zu lesen. Ob der Assistent Sie zitiert, entscheidet der Assistent anhand der Frage. - **Niemand verspricht Rankings oder Traffic.** Die `robots.txt`-Einstellung öffnet den Zugriff, sichert aber keinen Platz in den Suchergebnissen. - **Manche Crawler ignorieren möglicherweise die Regeln der Datei.** Das gilt für einige Crawler, die als Reaktion auf eine direkte Nutzeranfrage zugreifen – zum Beispiel OpenAIs `ChatGPT-User` und Perplexitys `Perplexity-User`. - **Regeln ändern sich.** Anbieter aktualisieren Crawler-Namen und Bedingungen. Es lohnt sich, alle paar Monate die Dokumentation zu prüfen; Links finden Sie am Ende. Sie kontrollieren den Zugriff und die Qualität Ihrer Website, aber der Assistent entscheidet, ob er einen Link einfügt. Ziel dieser Einstellungen ist es, eine hilfreiche Seite für Suche und Lektüre verfügbar zu machen, ohne zu versuchen, den Assistenten auszutricksen. ## Was als Nächstes Öffnen Sie `robots.txt`, fügen Sie die Such-Crawler der Assistenten hinzu und prüfen Sie die Sitemap sowie die Verfügbarkeit der Texte. Wenn die Sicherheitseinstellungen den Zugriff blockieren, prüfen Sie auch sie. So können Sie technische Hindernisse erkennen und beseitigen. Prüfen Sie anschließend die Seiten selbst: Geben sie klare Antworten auf konkrete Fragen Ihrer Zielgruppe?
### Quellen - [OpenAI: Crawler-Übersicht (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots) - [Anthropic: Claude-Crawler und Zugriffskontrolle](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity: Crawler und Sicherheitseinstellungen für Websites](https://docs.perplexity.ai/guides/bots) - [Google: Crawler-Übersicht und das Google-Extended-Token](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Entdecken Sie Ailoot weiter auf [ailoot.ai](https://ailoot.ai/).
## Fragen und Antworten ### Warum kann eine eigene Crawlergruppe unter User-agent: * gesperrte Pfade wieder öffnen? Ein Crawler mit passender namentlicher Gruppe verwendet deren Regeln und erbt nicht die Regeln der Wildcard-Gruppe. Wiederholen Sie notwendige Disallow-Regeln für geschützte Pfade in jeder zugelassenen benannten Gruppe. ### Garantiert die Freigabe eines Such-Crawlers, dass ein Assistent meine Seite zitiert? Nein. Prüfen Sie robots.txt, Text im Seitenquellcode, Sitemap-Verfügbarkeit und Serverlogs auf Zugriffe. Diese Prüfungen belegen Erreichbarkeit oder Besuche, nicht die Auswahl der Seite für eine Antwort. ## Ailoot · Das Unternehmen und sein Projektportfolio Ailoot baut auf bewährte Betriebserfahrung, einen großen Kundenstamm, stabilen Service und kontinuierliche KPI-Kontrolle. Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe. Ailoot nutzt diese Betriebserfahrung für den API-Zugang zu KI-Funktionen in Kundenprodukten, Agenten, Anwendungen und Automatisierungen.