Как сделать сайт доступным для ответов нейросетей: настройка роботов

Ты запустил сайт или сервис, но ChatGPT, Claude и Perplexity не предлагают его в ответ на просьбу порекомендовать решение. Для начала выясни, могут ли ассистенты прочитать страницы и не ограничивает ли доступ настройка сайта.

Специальной кнопки, которая добавляет сайт в ответы нейросетей, нет, а ссылки никто не обещает. У ChatGPT, Claude и Perplexity есть поисковые роботы, которым можно разрешить обход через robots.txt. После этого проверь, доступен ли им текст страниц и не блокирует ли запросы защита сайта.

Что значит «быть видимым для нейросети»?#

Когда пользователь просит ChatGPT или Perplexity найти материалы о теме либо посоветовать сервис, ассистент иногда обращается к интернету и включает в ответ ссылки. Чтобы страница могла стать одним из вариантов, поисковый робот должен получить к ней доступ и прочитать её.

Проверь на своём сайте три условия:

• робот может открыть сайт: его не блокирует robots.txt или защитный сервис;
• в ответе сервера есть текст страницы, а не пустая основа, которую заполняет только браузер;
• страница ясно отвечает на вопрос, вместо того чтобы подменять ответ перечислением ключевых слов.

Сначала разберись с доступом: пока робот не может прочитать страницу, он не увидит и размещённую на ней информацию.

Чем поисковый робот отличается от обучающего?#

Решение о доступе задавай отдельно для каждого робота. Общее разрешение или запрет для «нейросети» не учитывает, для чего именно используется робот.

• Поисковый робот помогает страницам попадать в поисковые результаты ассистента и его ответы. Разреши ему обход, если хочешь сделать сайт доступным для такого поиска.
• Обучающий робот собирает тексты, которые могут использоваться при тренировке следующих версий модели. Пускать его или нет — твой выбор; на текущие поисковые ответы это напрямую не влияет.

В документации OpenAI описан вариант, в котором поисковому роботу разрешён обход, а обучающему доступ закрыт. Так можно не передавать тексты сайта для обучения. Для обоих правил предусмотрены отдельные настройки в одном файле.

Как называются роботы ChatGPT, Claude и Perplexity?#

Для настройки правил в robots.txt нужны точные имена роботов — user-agent. В таблице приведены названия и функции из официальной документации разработчиков по состоянию на сентябрь 2026 года.

Роботы ChatGPT-User, Claude-User и Perplexity-User могут обращаться к страницам по просьбе человека в чате, однако правила доступа у компаний отличаются. OpenAI указывает, что правила robots.txt могут не действовать на ChatGPT-User. По данным Perplexity, Perplexity-User обычно игнорирует эти правила, поскольку обращение инициирует пользователь. Anthropic позволяет управлять доступом Claude-User через robots.txt: если запретить ему обход, Claude не сможет получать страницы по запросам пользователей. Разрешение для поисковых роботов задаётся отдельно.

У Google-Extended нет собственного user-agent, который обходил бы сайт: это управляющий токен для правил в robots.txt. Он определяет, можно ли использовать материалы сайта в генеративном ИИ Google, и не меняет обычный поиск Google.

Если хочешь, чтобы сайт имел ясную структуру и доступный текст, заранее продумай организацию информации.

Как разрешить роботов в robots.txt: пошаговая инструкция#

robots.txt — обычный текстовый файл в корне сайта. Обычно он доступен по адресу вроде https://example.com/robots.txt. Роботы проверяют его перед обходом и учитывают заданные правила, кроме описанных выше особенностей запросов, инициированных пользователями.

1. Проверь существующий файл. Открой в браузере адрес сайта с окончанием /robots.txt. Изучи текущие правила и убедись, что нужные роботы не попали под Disallow: /. Найди также директивы Disallow: для закрытых областей — например, личного кабинета, оплаты или административной панели: эти пути нужно учесть в новых группах.
2. Создай группы для поисковых роботов ассистентов. В группе указываются имя робота и применимые к нему правила. Директива Allow: / разрешает обход всего сайта. Робот применяет группу со своим именем; правила общей группы User-agent: * к нему не добавляются. Поэтому запреты, указанные только в общей группе, не сработают для робота с отдельной группой. Перенеси ограничения для служебных разделов в каждую новую группу, где разрешаешь обход.
3. Отдельно реши, разрешать ли сбор текстов для обучения. Чтобы запретить его для GPTBot и ClaudeBot, добавь для каждого Disallow: /. Это не должно влиять на поисковую видимость.
4. Сохрани файл в корневом каталоге и убедись, что он открывается по пути /robots.txt. Если сайт использует поддомены, например blog.example.com, помести отдельный файл и на каждом поддомене: роботы читают правила именно оттуда.

Перед использованием примера проверь, как заданы ограничения для закрытых страниц. Например, если Disallow: /dashboard/ есть только в группе User-agent: *, отдельная группа OAI-SearchBot не унаследует этот запрет. Повтори служебные пути в каждой группе, где разрешаешь обход.

В примере ниже поисковым роботам ассистентов разрешён обход, кроме служебного пути /dashboard/. Для обучающих роботов доступ закрыт, но это необязательный выбор. Замени список служебных путей на адреса, актуальные для твоего сайта.

# Разрешаем поисковым роботам ассистентов обход сайта, кроме служебных областей
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# По желанию запрещаем доступ обучающим роботам
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Карта сайта указывает роботам на страницы
Sitemap: https://example.com/sitemap.xml

В документации OpenAI и Perplexity сказано, что обновление правил robots.txt в их системах может занять около суток. Изменения могут вступить в силу не сразу после сохранения файла.

Как выглядит настройка на действующем сайте#

В рассмотренном примере группы robots.txt содержат имена роботов, включая GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended и другие. Для них заданы Allow: / и ограничения для закрытых разделов, совпадающие с правилами общей группы User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ и другие пути. В конце файла перечислены карты сайта директивами Sitemap:.

Ограничения повторены в группе роботов ассистентов, чтобы служебные страницы оставались закрытыми и для них. Файл /robots.txt общедоступен, поэтому его можно посмотреть на любом сайте.

Что ещё помогает роботам разобраться в содержимом сайта?#

Даже если обход разрешён, робот может не получить полезное содержимое. Помимо правил доступа, проверь передачу текста и способы обнаружения страниц.

• Текст передаётся сразу. Если страница заполняется только скриптами в браузере, некоторые роботы могут получить пустой шаблон. Открой страницу и выбери просмотр исходного кода, затем найди в нём текст. Если он появляется лишь при обычном просмотре страницы, выясни, как сервер передаёт её содержимое.
• Опубликована карта сайта. Файл sitemap.xml перечисляет страницы сайта и помогает роботам их обнаруживать. Укажи адрес карты в robots.txt с помощью строки Sitemap:.
• Страница отвечает на вопрос. Роботам полезны материалы с ясным заголовком, коротким ответом в начале и точными условиями. Простое перечисление ключевых слов не заменяет содержательный ответ.

Почему сайт может не появляться в ответах ИИ?#

Если ассистенты не ссылаются на сайт, последовательно проверь возможные проблемы с доступом.

• Доступ запрещён в robots.txt. Общая директива может закрывать обход нужным роботам. Проверь группы, применимые к роботам ассистентов, и найди в них Disallow: /.
• Текст не содержится в исходном коде. Если содержимое создаётся браузерными скриптами, робот может его не увидеть. Способ проверки исходного кода описан выше.
• Роботов блокирует защита сайта. Защитные сервисы, например Cloudflare, могут отклонять запросы независимо от robots.txt. Этот файл задаёт допустимые пути, а защитный сервис решает, пропускать ли запрос. Perplexity рекомендует отдельно разрешать роботов в настройках защиты по user-agent и опубликованным IP-адресам. При этом правила обхода следует задавать через robots.txt: Anthropic предупреждает, что блокировка только по IP-адресам ненадёжна. Если на сайте настроена такая защита, проверь её параметры.

Иди по порядку: сначала изучи robots.txt, затем проверь исходный код страницы и после этого настройки защиты. Даже если все три препятствия устранены, сайт не обязательно появится в ответах.

Как убедиться, что робот обращался к странице?#

Проверь, доступны ли основные файлы и страницы, а затем поищи записи о визитах роботов.

• Открой https://example.com/robots.txt в браузере. Файл должен загрузиться и содержать нужные группы правил.
• Перейди к карте сайта https://example.com/sitemap.xml: она должна открываться и перечислять страницы.
• Посмотри исходный код важной страницы и проверь, присутствует ли в нём её текст.
• Если доступны журналы сервера, найди обращения по user-agent — например, OAI-SearchBot, PerplexityBot и другим роботам.

Такая проверка не предсказывает, выберет ли ассистент именно эту страницу. Выбор зависит от формулировки вопроса и от того, насколько материал отвечает на него.

Чего не обещает настройка#

Разрешённый доступ к сайту и ссылка на него в ответе ассистента — не одно и то же. У настройки есть ограничения.

• Ссылки не гарантированы. Разрешение даёт роботу возможность прочитать сайт, но ассистент сам решает, ссылаться ли на него с учётом вопроса.
• Место в результатах и трафик не обещаны. Правила robots.txt открывают роботу доступ, но не задают позицию сайта в поиске.
• Некоторые роботы могут не учитывать правила файла. Это относится к отдельным роботам, которые приходят по прямому запросу человека, например ChatGPT-User у OpenAI и Perplexity-User у Perplexity.
• Названия и правила могут обновляться. Периодически сверяй настройки с документацией разработчиков; ссылки на официальные материалы приведены ниже.

Ты контролируешь доступ к сайту и качество его страниц, но решение о ссылке принимает ассистент. Настройка помогает сделать полезные материалы доступными для чтения и поиска.

Что делать дальше#

Открой robots.txt, разреши обход поисковым роботам ассистентов и проверь карту сайта и доступность текста. Если запросы блокирует защитный сервис, изучи его настройки. Эти шаги позволяют обнаружить технические препятствия. Затем оцени содержание страниц: дают ли они ясные ответы на вопросы твоей аудитории.