Roboty ChatGPT, Claude i Perplexity: jak udostępnić stronę

Stworzono witrynę lub produkt, ale gdy ktoś pyta: „poleć usługę do tego zadania”, ChatGPT, Claude i Perplexity o nim nie wspominają. Warto sprawdzić, czy asystent może odczytać witrynę i czy dostęp nie jest zablokowany.

Nie ma przycisku „dodaj do odpowiedzi AI” i nikt nie może zagwarantować cytowania. ChatGPT, Claude i Perplexity mają osobne roboty indeksujące przeznaczone do wyszukiwania: możesz zezwolić im na dostęp do witryny za pomocą pliku robots.txt. Następnie sprawdź, czy mogą uzyskać dostęp do tekstu strony i czy zabezpieczenia witryny nie utrudniają tego dostępu.

Co oznacza „widoczność dla AI”?#

Gdy ktoś pyta ChatGPT lub Perplexity „gdzie mogę poczytać o X?” albo „którą usługę wybrać?”, asystent czasami przeszukuje internet i dodaje linki do stron. Aby Twoja strona znalazła się na liście kandydatów, robot indeksujący asystenta musi ją odczytać i nie może napotkać odmowy dostępu.

Na swojej witrynie sprawdź trzy rzeczy:

• robot indeksujący może uzyskać dostęp do witryny: nie jest zablokowany w pliku robots.txt, a zabezpieczenia nie uniemożliwiają dostępu;
• robot widzi tekst strony, a nie pusty szkielet, który przeglądarka wypełnia treścią;
• strona uczciwie i jasno odpowiada na konkretne pytanie, zamiast zastępować odpowiedź listą słów kluczowych.

Zacznij od dostępu: jeśli robot nie może odczytać strony, nie uzyska też zawartego na niej przydatnego tekstu.

Czym różni się robot indeksujący do wyszukiwania od robota do trenowania?#

Dostęp należy osobno zezwolić lub zablokować dla każdego robota. Ogólna decyzja, by „wpuścić AI na witrynę”, nie uwzględnia różnic między ich zadaniami.

• Robot indeksujący do wyszukiwania umożliwia wyświetlanie Twoich stron w odpowiedziach asystenta, gdy użytkownik o coś zapyta. Zezwól na jego dostęp, jeśli chcesz, by witryna była dostępna w wynikach wyszukiwania.
• Robot do trenowania zbiera teksty, które mogą zostać wykorzystane do trenowania przyszłych wersji modelu. Decyzja o zezwoleniu na dostęp należy do Ciebie; nie wpływa bezpośrednio na to, czy pojawisz się w obecnych odpowiedziach wyszukiwania.

Dokumentacja OpenAI podaje przykład: możesz zezwolić robotowi do wyszukiwania na indeksowanie witryny, jednocześnie blokując robota do trenowania, aby teksty z witryny nie były wykorzystywane do trenowania. Te dwa ustawienia konfiguruje się niezależnie w tym samym pliku.

Jak nazywają się roboty indeksujące ChatGPT, Claude i Perplexity?#

Aby skonfigurować dostęp, potrzebujesz dokładnych nazw robotów (user-agent), które podaje się w pliku robots.txt. Tabela zawiera nazwy i przeznaczenie zgodnie z oficjalną dokumentacją każdego dostawcy, aktualną we wrześniu 2026 r.

Roboty ChatGPT-User, Claude-User i Perplexity-User odwiedzają strony na prośbę użytkownika w trakcie rozmowy, ale każdy dostawca stosuje inne zasady dostępu. OpenAI informuje, że reguły robots.txt mogą nie dotyczyć ChatGPT-User. Perplexity podaje, że Perplexity-User zwykle je ignoruje, ponieważ wizytę inicjuje użytkownik. Anthropic kontroluje dostęp Claude-User za pomocą robots.txt: jeśli go tam zablokujesz, Claude nie pobierze stron w odpowiedzi na prośby użytkowników. Dostęp robotów do wyszukiwania konfiguruje się osobno.

Google-Extended nie ma własnej linii user-agent podczas indeksowania — jest wyłącznie tokenem kontrolnym w pliku robots.txt. Określa, czy treści mogą być wykorzystywane przez generatywną AI Google, i nie wpływa na zwykłą wyszukiwarkę Google.

Jeśli chcesz zbudować witrynę o przejrzystej strukturze i z dostępnymi tekstami, zastanów się, jak uporządkować informacje.

Jak zezwolić robotom indeksującym na dostęp w robots.txt: krok po kroku#

robots.txt to zwykły plik tekstowy w katalogu głównym witryny, dostępny pod adresem takim jak https://example.com/robots.txt. Roboty odczytują go przed rozpoczęciem indeksowania i stosują się do jego instrukcji, z wyjątkami dotyczącymi wizyt na prośbę użytkownika opisanymi powyżej.

1. Otwórz obecny plik. Wpisz adres witryny w przeglądarce i dodaj /robots.txt. Sprawdź, co już znajduje się w pliku i czy potrzebne roboty nie zostały przypadkiem zablokowane wierszem Disallow: /. Poszukaj też wierszy Disallow: dotyczących obszarów z ograniczonym dostępem — stron konta, płatności i sekcji administracyjnej; przydadzą się w następnym kroku.
2. Dodaj grupę dla robotów wyszukiwania asystentów. Każda grupa określa nazwę robota i zasady dostępu. Aby zezwolić na indeksowanie, użyj Allow: /. Robot stosuje zasady z grupy, w której jego nazwa jest podana osobno; nie przejmuje zasad z ogólnej grupy User-agent: *. Ograniczenia znajdujące się wyłącznie w User-agent: * nie dotyczą tego robota. Jeśli masz obszary z ograniczonym dostępem, powtórz te same wiersze Disallow: w każdej nowej grupie, bo inaczej będą dostępne dla danego robota.
3. Osobno zdecyduj o robotach do trenowania. Jeśli nie chcesz, by teksty były wykorzystywane do trenowania, ustaw Disallow: / dla GPTBot i ClaudeBot. Nie wpłynie to na widoczność w wynikach wyszukiwania.
4. Zapisz plik w katalogu głównym witryny i sprawdź, czy otwiera się pod adresem /robots.txt. Jeśli masz subdomeny (na przykład blog.example.com), każda potrzebuje własnego pliku — roboty odczytują plik przypisany do danej subdomeny.

Zanim skopiujesz przykład, sprawdź ograniczenia dotyczące obszarów z ograniczonym dostępem. Jeśli pozostawisz Disallow: /dashboard/ wyłącznie w User-agent: *, reguła nie obejmie OAI-SearchBot, który ma własną grupę. Wypisz ograniczone ścieżki w każdej grupie, w której zezwalasz robotowi na indeksowanie.

W poniższym przykładzie zezwolono na dostęp robotom wyszukiwania asystentów, ale obszar z ograniczonym dostępem /dashboard/ zablokowano bezpośrednio w ich grupach; roboty do trenowania zablokowano całkowicie. Blokowanie robotów do trenowania jest opcjonalne — decyzja należy do Ciebie. Zastąp listę ograniczonych ścieżek własnymi ścieżkami.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Zgodnie z dokumentacją OpenAI i Perplexity ich systemy mogą potrzebować około jednego dnia, by uwzględnić zmiany w robots.txt. Nie oczekuj natychmiastowego efektu po zapisaniu pliku.

Jak to wygląda w działającej witrynie?#

W opisanym przykładzie ustawień robots.txt nazwy robotów asystentów — GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended i inne — są zebrane w jednej grupie. Poniżej znajdują się Allow: / oraz te same wiersze Disallow: dotyczące obszarów z ograniczonym dostępem co w ogólnej grupie User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ i inne. Na końcu pliku adresy map witryny są wymienione za pomocą dyrektywy Sitemap:.

Ograniczenia są powtórzone w grupie robotów asystentów, aby zablokować im dostęp do obszarów z ograniczeniami. Możesz otworzyć /robots.txt dowolnej witryny i sprawdzić jej konfigurację — plik jest zawsze publiczny.

Co jeszcze pomaga robotom zrozumieć witrynę?#

Nawet gdy indeksowanie jest dozwolone, robot może nie pobrać zawartości strony. Oprócz zasad dostępu sprawdź, jak witryna udostępnia teksty i pomaga odwiedzającym znaleźć treści.

• Tekst jest dostępny od razu. Jeśli skrypty renderują treść strony w przeglądarce, niektóre roboty zobaczą pusty szkielet. Aby to sprawdzić, otwórz stronę, wybierz „wyświetl źródło strony” i wyszukaj swój tekst. Jeśli nie ma go w źródle, a pojawia się wyłącznie w zwykłym widoku strony, trzeba sprawdzić sposób jej udostępniania.
• Dostępna jest mapa witryny. Plik sitemap.xml zawiera listę wszystkich stron. Pomaga robotom nie przeoczyć treści. Dodaj do niego odnośnik w robots.txt za pomocą wiersza Sitemap:.
• Odpowiedź jest jasna dla człowieka. Roboty asystentów szukają stron odpowiadających na pytania. Jasny nagłówek, krótka odpowiedź na początku i uczciwe sformułowania sprawdzają się lepiej niż lista słów kluczowych.

Dlaczego witryna może być niewidoczna dla AI?#

Jeśli witryna nie pojawia się w odpowiedziach, sprawdź poniższe możliwe bariery dostępu.

• Robot jest zablokowany w robots.txt. Czasami plik zawiera ogólne ograniczenie, które blokuje potrzebne roboty. Sprawdź, czy w grupie dotyczącej robotów asystentów znajduje się Disallow: /.
• Tekst nie jest widoczny bez przeglądarki. Jeśli treść generują skrypty, robot może jej nie pobrać. Sposób sprawdzania kodu źródłowego opisano powyżej.
• Zabezpieczenia witryny blokują roboty. Wiele witryn korzysta z ochrony przed niepożądanym ruchem, na przykład Cloudflare. Może ona blokować dostęp niezależnie od ustawień robots.txt. Za pomocą robots.txt kontrolujesz, dokąd robot może przejść, natomiast zabezpieczenia witryny decydują, czy jego żądanie zostanie przepuszczone. Perplexity zaleca ręczne zezwalanie robotom w ustawieniach zabezpieczeń na podstawie nazw user-agent i opublikowanych adresów IP. Zasady indeksowania ustawiaj w robots.txt: Anthropic osobno ostrzega, że blokowanie robotów wyłącznie na podstawie adresu IP jest niepewne. Jeśli korzystasz z podobnej usługi, sprawdź jej ustawienia.

Sprawdzaj przyczyny po kolei: zacznij od robots.txt, potem zajrzyj do kodu źródłowego strony, a następnie sprawdź ustawienia zabezpieczeń. Sam brak tych barier nie gwarantuje, że witryna pojawi się w odpowiedziach.

Jak sprawdzić, czy robot dotarł do strony?#

Ta kontrola pomaga ocenić dostępność witryny i znaleźć zapisy wizyt robotów.

• Otwórz w przeglądarce https://example.com/robots.txt — plik powinien się otworzyć i zawierać wymagane grupy.
• Otwórz mapę witryny pod adresem https://example.com/sitemap.xml — plik powinien się otworzyć i zawierać listę stron.
• Wyświetl kod źródłowy ważnej strony i poszukaj w nim swojego tekstu.
• Jeśli masz dostęp do logów serwera, wyszukaj w nich nazwy robotów, takie jak OAI-SearchBot, PerplexityBot i inne. Ich wizyty są widoczne według user-agent.

Kontrola nie pokaże, czy asystent wybierze właśnie Twoją stronę. Zależy to od pytania użytkownika i od tego, jak dobrze strona na nie odpowiada.

Czego te ustawienia nie gwarantują#

Dostęp do witryny i pojawienie się w odpowiedzi asystenta to różne rezultaty. Te ustawienia mają swoje ograniczenia.

• Cytowanie nie jest gwarantowane. Otwarty dostęp daje robotowi jedynie możliwość odczytania witryny. To asystent decyduje, czy Cię zacytować, na podstawie pytania.
• Nikt nie obiecuje wysokich pozycji ani ruchu. Ustawienie robots.txt otwiera dostęp, ale nie gwarantuje miejsca w wynikach wyszukiwania.
• Niektóre roboty mogą ignorować zasady pliku. Dotyczy to niektórych robotów odwiedzających witrynę w odpowiedzi na bezpośrednią prośbę użytkownika, na przykład OpenAI ChatGPT-User i Perplexity Perplexity-User.
• Zasady się zmieniają. Deweloperzy aktualizują nazwy robotów i warunki dostępu. Warto sprawdzać dokumentację co kilka miesięcy; linki znajdują się na końcu.

Masz kontrolę nad dostępem i jakością witryny, ale o umieszczeniu linku decyduje asystent. Celem tych ustawień jest udostępnienie przydatnej strony do wyszukiwania i czytania, bez prób „oszukania” asystenta.

Co dalej#

Otwórz robots.txt, dodaj roboty wyszukiwania asystentów i sprawdź mapę witryny oraz dostępność tekstu. Jeśli zabezpieczenia blokują dostęp, sprawdź również ich ustawienia. Te działania pomagają wykryć i usunąć bariery techniczne. Następnie sprawdź same strony: czy jasno odpowiadają na konkretne pytania Twoich odbiorców?