# Как сделать сайт доступным для ответов нейросетей: настройка роботов

> Как открыть сайт поисковым роботам ChatGPT, Claude и Perplexity: названия роботов, пример robots.txt, проверка текста страниц и карты сайта. Цитирование не гарантируется.

Source: https://ailoot.ai/blog/ru/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/ru/ai-search-crawlers-robots-txt/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-b83f260605dda18fd83887af6e6f6988e51ec9f1ef6a525e439e24d4c7e71015


Ты запустил сайт или сервис, но ChatGPT, Claude и Perplexity не предлагают его в ответ на просьбу порекомендовать решение. Для начала выясни, могут ли ассистенты прочитать страницы и не ограничивает ли доступ настройка сайта.

Специальной кнопки, которая добавляет сайт в ответы нейросетей, нет, а ссылки никто не обещает. У ChatGPT, Claude и Perplexity есть поисковые роботы, которым можно разрешить обход через `robots.txt`. После этого проверь, доступен ли им текст страниц и не блокирует ли запросы защита сайта.

<div class="aside" data-semantic="ailoot-docs-link" aria-label="Документация Ailoot">

Пошаговые материалы по использованию Ailoot собраны в [документации](https://ailoot.ai/docs/).

</div>

## Что значит «быть видимым для нейросети»?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

У ИИ-ассистентов есть отдельные роботы для поиска и для сбора материалов на обучение моделей. Для появления в поисковых ответах важен первый тип. Ты можешь разрешить роботу обход сайта, но это не обязывает ассистента сослаться на страницу: гарантировать цитирование никто не может.

</div>

Когда пользователь просит ChatGPT или Perplexity найти материалы о теме либо посоветовать сервис, ассистент иногда обращается к интернету и включает в ответ ссылки. Чтобы страница могла стать одним из вариантов, поисковый робот должен получить к ней доступ и прочитать её.

Проверь на своём сайте три условия:

- робот может открыть сайт: его не блокирует `robots.txt` или защитный сервис;
- в ответе сервера есть текст страницы, а не пустая основа, которую заполняет только браузер;
- страница ясно отвечает на вопрос, вместо того чтобы подменять ответ перечислением ключевых слов.

Сначала разберись с доступом: пока робот не может прочитать страницу, он не увидит и размещённую на ней информацию.

## Чем поисковый робот отличается от обучающего?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

У больших ассистентов роботы выполняют разные задачи. Поисковый робот собирает страницы для поиска и ответов ассистента, а обучающий — тексты для тренировки моделей. Правила можно настроить независимо: разрешить обход для поиска и запретить сбор материалов для обучения.

</div>

Решение о доступе задавай отдельно для каждого робота. Общее разрешение или запрет для «нейросети» не учитывает, для чего именно используется робот.

- **Поисковый робот** помогает страницам попадать в поисковые результаты ассистента и его ответы. Разреши ему обход, если хочешь сделать сайт доступным для такого поиска.
- **Обучающий робот** собирает тексты, которые могут использоваться при тренировке следующих версий модели. Пускать его или нет — твой выбор; на текущие поисковые ответы это напрямую не влияет.

В документации OpenAI описан вариант, в котором поисковому роботу разрешён обход, а обучающему доступ закрыт. Так можно не передавать тексты сайта для обучения. Для обоих правил предусмотрены отдельные настройки в одном файле.

## Как называются роботы ChatGPT, Claude и Perplexity?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

У OpenAI `OAI-SearchBot` отвечает за поиск, `GPTBot` собирает материалы для обучения, а `ChatGPT-User` обращается к странице по действию пользователя. У Anthropic поисковый робот — `Claude-SearchBot`, обучающий — `ClaudeBot`, а `Claude-User` получает страницы по запросу пользователя. Perplexity использует `PerplexityBot` для поиска и `Perplexity-User` для обращений по запросу. В Google токен `Google-Extended` задаёт правила использования материалов сайта в генеративном ИИ.

</div>

Для настройки правил в `robots.txt` нужны точные имена роботов — user-agent. В таблице приведены названия и функции из официальной документации разработчиков по состоянию на сентябрь 2026 года.

| Робот (user-agent) или токен | Организация | Назначение | Разрешить для видимости? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Находит сайты для поиска ChatGPT | Да |
| `GPTBot` | OpenAI | Собирает тексты для обучения моделей | Решай сам |
| `ChatGPT-User` | OpenAI | Открывает страницу по действию пользователя | Обычно да |
| `Claude-SearchBot` | Anthropic | Индексирует сайты для улучшения поиска | Да |
| `ClaudeBot` | Anthropic | Собирает тексты для обучения моделей | Решай сам |
| `Claude-User` | Anthropic | Получает страницу по запросу пользователя Claude | Обычно да |
| `PerplexityBot` | Perplexity | Ищет сайты и ссылается на них в ответах | Да |
| `Perplexity-User` | Perplexity | Открывает страницу по запросу пользователя | Обычно да |
| `Google-Extended` | Google | Управляет использованием материалов сайта для генеративного ИИ Google | Решай сам |

Роботы `ChatGPT-User`, `Claude-User` и `Perplexity-User` могут обращаться к страницам по просьбе человека в чате, однако правила доступа у компаний отличаются. OpenAI указывает, что правила `robots.txt` могут не действовать на `ChatGPT-User`. По данным Perplexity, `Perplexity-User` обычно игнорирует эти правила, поскольку обращение инициирует пользователь. Anthropic позволяет управлять доступом `Claude-User` через `robots.txt`: если запретить ему обход, Claude не сможет получать страницы по запросам пользователей. Разрешение для поисковых роботов задаётся отдельно.

У `Google-Extended` нет собственного user-agent, который обходил бы сайт: это управляющий токен для правил в `robots.txt`. Он определяет, можно ли использовать материалы сайта в генеративном ИИ Google, и не меняет обычный поиск Google.

Если хочешь, чтобы сайт имел ясную структуру и доступный текст, заранее продумай организацию информации.

## Как разрешить роботов в robots.txt: пошаговая инструкция

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

Файл `robots.txt` размещается в корневом каталоге сайта и задаёт правила обхода. Чтобы разрешить поисковым роботам ассистентов читать страницы, добавь их user-agent и правило доступа. Для каждого поддомена требуется собственный файл.

</div>

`robots.txt` — обычный текстовый файл в корне сайта. Обычно он доступен по адресу вроде `https://example.com/robots.txt`. Роботы проверяют его перед обходом и учитывают заданные правила, кроме описанных выше особенностей запросов, инициированных пользователями.

1.  **Проверь существующий файл.** Открой в браузере адрес сайта с окончанием `/robots.txt`. Изучи текущие правила и убедись, что нужные роботы не попали под `Disallow: /`. Найди также директивы `Disallow:` для закрытых областей — например, личного кабинета, оплаты или административной панели: эти пути нужно учесть в новых группах.
2.  **Создай группы для поисковых роботов ассистентов.** В группе указываются имя робота и применимые к нему правила. Директива `Allow: /` разрешает обход всего сайта. Робот применяет группу со своим именем; правила общей группы `User-agent: *` к нему не добавляются. Поэтому запреты, указанные только в общей группе, не сработают для робота с отдельной группой. Перенеси ограничения для служебных разделов в каждую новую группу, где разрешаешь обход.
3.  **Отдельно реши, разрешать ли сбор текстов для обучения.** Чтобы запретить его для `GPTBot` и `ClaudeBot`, добавь для каждого `Disallow: /`. Это не должно влиять на поисковую видимость.
4.  **Сохрани файл в корневом каталоге** и убедись, что он открывается по пути `/robots.txt`. Если сайт использует поддомены, например `blog.example.com`, помести отдельный файл и на каждом поддомене: роботы читают правила именно оттуда.

Перед использованием примера проверь, как заданы ограничения для закрытых страниц. Например, если `Disallow: /dashboard/` есть только в группе `User-agent: *`, отдельная группа `OAI-SearchBot` не унаследует этот запрет. Повтори служебные пути в каждой группе, где разрешаешь обход.

В примере ниже поисковым роботам ассистентов разрешён обход, кроме служебного пути `/dashboard/`. Для обучающих роботов доступ закрыт, но это необязательный выбор. Замени список служебных путей на адреса, актуальные для твоего сайта.

```
# Разрешаем поисковым роботам ассистентов обход сайта, кроме служебных областей
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# По желанию запрещаем доступ обучающим роботам
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Карта сайта указывает роботам на страницы
Sitemap: https://example.com/sitemap.xml
```

В документации OpenAI и Perplexity сказано, что обновление правил `robots.txt` в их системах может занять около суток. Изменения могут вступить в силу не сразу после сохранения файла.

## Как выглядит настройка на действующем сайте

В рассмотренном примере группы `robots.txt` содержат имена роботов, включая `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` и другие. Для них заданы `Allow: /` и ограничения для закрытых разделов, совпадающие с правилами общей группы `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` и другие пути. В конце файла перечислены карты сайта директивами `Sitemap:`.

Ограничения повторены в группе роботов ассистентов, чтобы служебные страницы оставались закрытыми и для них. Файл `/robots.txt` общедоступен, поэтому его можно посмотреть на любом сайте.

## Что ещё помогает роботам разобраться в содержимом сайта?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

После настройки доступа убедись, что текст страницы доступен без запуска браузерных сценариев, карта сайта `sitemap.xml` существует, а содержание страницы понятно читателю. Эти проверки помогают найти технические препятствия, но не гарантируют цитирование.

</div>

Даже если обход разрешён, робот может не получить полезное содержимое. Помимо правил доступа, проверь передачу текста и способы обнаружения страниц.

- **Текст передаётся сразу.** Если страница заполняется только скриптами в браузере, некоторые роботы могут получить пустой шаблон. Открой страницу и выбери просмотр исходного кода, затем найди в нём текст. Если он появляется лишь при обычном просмотре страницы, выясни, как сервер передаёт её содержимое.
- **Опубликована карта сайта.** Файл `sitemap.xml` перечисляет страницы сайта и помогает роботам их обнаруживать. Укажи адрес карты в `robots.txt` с помощью строки `Sitemap:`.
- **Страница отвечает на вопрос.** Роботам полезны материалы с ясным заголовком, коротким ответом в начале и точными условиями. Простое перечисление ключевых слов не заменяет содержательный ответ.

## Почему сайт может не появляться в ответах ИИ?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

Проверь три возможных препятствия: запрет роботу в `robots.txt`, текст, который формируется скриптами и отсутствует в исходном коде, и защиту сайта, отклоняющую запросы. Для каждого случая нужен свой шаг: проверка правил, способа передачи страниц или настроек защиты.

</div>

Если ассистенты не ссылаются на сайт, последовательно проверь возможные проблемы с доступом.

- **Доступ запрещён в `robots.txt`.** Общая директива может закрывать обход нужным роботам. Проверь группы, применимые к роботам ассистентов, и найди в них `Disallow: /`.
- **Текст не содержится в исходном коде.** Если содержимое создаётся браузерными скриптами, робот может его не увидеть. Способ проверки исходного кода описан выше.
- **Роботов блокирует защита сайта.** Защитные сервисы, например Cloudflare, могут отклонять запросы независимо от `robots.txt`. Этот файл задаёт допустимые пути, а защитный сервис решает, пропускать ли запрос. Perplexity рекомендует отдельно разрешать роботов в настройках защиты по user-agent и опубликованным IP-адресам. При этом правила обхода следует задавать через `robots.txt`: Anthropic предупреждает, что блокировка только по IP-адресам ненадёжна. Если на сайте настроена такая защита, проверь её параметры.

Иди по порядку: сначала изучи `robots.txt`, затем проверь исходный код страницы и после этого настройки защиты. Даже если все три препятствия устранены, сайт не обязательно появится в ответах.

## Как убедиться, что робот обращался к странице?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые сведения раздела">

Главное

Счётчика, который подтверждал бы цитирование, нет. Можно проверить доступность `robots.txt`, наличие текста в исходном коде и открытие карты сайта. Посещения роботов записываются в журналы сервера и различаются по user-agent.

</div>

Проверь, доступны ли основные файлы и страницы, а затем поищи записи о визитах роботов.

- Открой `https://example.com/robots.txt` в браузере. Файл должен загрузиться и содержать нужные группы правил.
- Перейди к карте сайта `https://example.com/sitemap.xml`: она должна открываться и перечислять страницы.
- Посмотри исходный код важной страницы и проверь, присутствует ли в нём её текст.
- Если доступны журналы сервера, найди обращения по user-agent — например, `OAI-SearchBot`, `PerplexityBot` и другим роботам.

Такая проверка не предсказывает, выберет ли ассистент именно эту страницу. Выбор зависит от формулировки вопроса и от того, насколько материал отвечает на него.

## Чего не обещает настройка

Разрешённый доступ к сайту и ссылка на него в ответе ассистента — не одно и то же. У настройки есть ограничения.

- **Ссылки не гарантированы.** Разрешение даёт роботу возможность прочитать сайт, но ассистент сам решает, ссылаться ли на него с учётом вопроса.
- **Место в результатах и трафик не обещаны.** Правила `robots.txt` открывают роботу доступ, но не задают позицию сайта в поиске.
- **Некоторые роботы могут не учитывать правила файла.** Это относится к отдельным роботам, которые приходят по прямому запросу человека, например `ChatGPT-User` у OpenAI и `Perplexity-User` у Perplexity.
- **Названия и правила могут обновляться.** Периодически сверяй настройки с документацией разработчиков; ссылки на официальные материалы приведены ниже.

Ты контролируешь доступ к сайту и качество его страниц, но решение о ссылке принимает ассистент. Настройка помогает сделать полезные материалы доступными для чтения и поиска.

## Что делать дальше

Открой `robots.txt`, разреши обход поисковым роботам ассистентов и проверь карту сайта и доступность текста. Если запросы блокирует защитный сервис, изучи его настройки. Эти шаги позволяют обнаружить технические препятствия. Затем оцени содержание страниц: дают ли они ясные ответы на вопросы твоей аудитории.

<div class="section" role="doc-bibliography" aria-label="Официальные источники">

### Источники

- [OpenAI: описание роботов OAI-SearchBot, GPTBot и ChatGPT-User](https://platform.openai.com/docs/bots)
- [Anthropic: роботы Claude и управление доступом к сайту](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: роботы и настройки защиты сайта](https://docs.perplexity.ai/guides/bots)
- [Google: справочник роботов и токен Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

</div>



<div class="aside" data-semantic="ailoot-link" aria-label="Ailoot">

Узнать больше об Ailoot можно на [ailoot.ai](https://ailoot.ai/).

</div>

## Вопросы и ответы

### Почему отдельная группа робота открывает пути, закрытые в User-agent: *?

Робот с подходящей именной группой использует её правила и не наследует общую группу. Повторите нужные запреты Disallow в каждой разрешённой именной группе.

### Гарантирует ли разрешение поискового робота цитирование страницы ассистентом?

Нет. Проверьте robots.txt, текст в исходном HTML, доступность sitemap и журналы сервера. Это подтверждает доступность или посещения, но не выбор страницы для ответа ассистента.


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.