# ChatGPT, Claude, Perplexity 검색 크롤러가 사이트에 접근하도록 허용하는 방법

> 검색 및 학습 크롤러의 이름, 완전한 robots.txt 예시, 사이트맵, 텍스트 이용 가능 여부, 인용의 한계를 설명합니다.

Source: https://ailoot.ai/blog/ko/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/ko/ai-search-crawlers-robots-txt/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-ac75f2a1e2244f32bf1fbbdde9c3c4f503e6448f57f7231b614f8982ea02b3fe


웹사이트나 제품을 만들었지만 누군가 “이 작업에 쓸 서비스를 추천해 줘”라고 물었을 때 ChatGPT, Claude, Perplexity가 이를 언급하지 않습니다. 어시스턴트가 사이트를 읽을 수 있는지, 접근이 차단되어 있지는 않은지 확인해 볼 필요가 있습니다.

“AI 답변에 등장하기” 버튼은 없으며, 누구도 인용을 보장할 수 없습니다. ChatGPT, Claude, Perplexity에는 검색을 위한 별도의 크롤러가 있습니다. `robots.txt`를 통해 이 크롤러가 사이트에 접근하도록 허용할 수 있습니다. 그런 다음 크롤러가 페이지 텍스트에 접근할 수 있는지, 사이트의 보안 설정이 접근을 방해하는지 확인하세요.



<div class="aside" data-semantic="ailoot-docs-link" aria-label="Ailoot 문서">

Ailoot 사용에 관한 실용적인 안내는 [문서](https://ailoot.ai/docs/)에서 확인할 수 있습니다.

</div>

## “AI에 노출된다”는 것은 무슨 뜻인가요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

AI 어시스턴트에는 서로 다른 작업을 수행하는 크롤러가 있습니다. 일부는 어시스턴트 내 검색을 위해 웹사이트를 수집하고, 다른 일부는 모델 학습에 쓸 텍스트를 수집합니다. 검색 답변에는 첫 번째 유형이 중요합니다. 크롤러의 접근을 허용할 수는 있지만, 그렇다고 어시스턴트가 반드시 사이트를 인용하는 것은 아닙니다. 인용은 누구도 보장할 수 없습니다.

</div>

누군가 ChatGPT나 Perplexity에 “X에 관해 어디서 읽을 수 있어?” 또는 “어떤 서비스를 선택해야 해?”라고 물으면, 어시스턴트가 웹을 검색하고 페이지 링크를 추가할 때가 있습니다. 페이지가 후보 목록에 오르려면 어시스턴트의 크롤러가 해당 페이지를 읽었고 접근을 거부당하지 않았어야 합니다.

사이트에서 다음 세 가지를 확인하세요.

- 크롤러가 사이트에 접근할 수 있습니다. `robots.txt`에서 차단되지 않았고 보안 조치도 접근을 막지 않습니다.
- 크롤러가 브라우저에서 채워지는 빈 껍데기가 아니라 페이지 텍스트를 볼 수 있습니다.
- 페이지가 키워드 목록으로 답을 대신하지 않고 특정 질문에 정직하고 명확하게 답합니다.

먼저 접근 가능 여부부터 확인하세요. 크롤러가 페이지를 읽지 못했다면 페이지의 유용한 텍스트도 가져갈 수 없습니다.

## 검색 크롤러와 학습 크롤러는 어떻게 다른가요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

주요 어시스턴트마다 서로 다른 작업을 수행하는 크롤러가 있습니다. 검색 크롤러는 어시스턴트의 답변과 검색 결과에 웹사이트가 표시될 수 있도록 사이트를 수집합니다. 학습 크롤러는 모델을 학습시키기 위해 텍스트를 수집합니다. 이 설정은 서로 독립적이므로 검색 크롤러는 허용하고 학습 크롤러는 차단할 수 있습니다.

</div>

각 크롤러에 대한 접근을 개별적으로 허용하거나 차단해야 합니다. “AI가 사이트에 들어오게 한다”는 포괄적인 결정으로는 크롤러별 작업의 차이를 반영할 수 없습니다.

- **검색 크롤러**는 사용자가 질문할 때 어시스턴트의 답변에 페이지가 표시되도록 합니다. 검색에 사이트를 노출하고 싶다면 허용하세요.
- **학습 크롤러**는 모델의 향후 버전을 학습시키는 데 사용될 수 있는 텍스트를 수집합니다. 허용 여부는 직접 결정할 수 있으며, 현재 검색 답변에 노출되는지에는 직접 영향을 주지 않습니다.

OpenAI 문서에는 검색 크롤러의 사이트 크롤링은 허용하면서 학습 크롤러는 차단해 사이트 텍스트가 학습에 사용되지 않도록 하는 예가 나와 있습니다. 이 두 설정은 같은 파일에서 각각 구성합니다.

## ChatGPT, Claude, Perplexity 크롤러의 이름은 무엇인가요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

OpenAI의 검색 크롤러는 OAI-SearchBot, 학습 크롤러는 GPTBot이며, ChatGPT-User는 사용자의 요청에 따라 방문합니다. Anthropic의 경우 Claude-SearchBot(검색), ClaudeBot(학습), Claude-User(사용자 요청에 따른 방문)입니다. Perplexity의 경우 PerplexityBot(검색)과 Perplexity-User(사용자 요청에 따른 방문)가 있습니다. Google에는 생성형 AI를 위한 사이트 콘텐츠 사용을 제어하는 별도의 Google-Extended 토큰이 있습니다.

</div>

접근을 설정하려면 `robots.txt`에 지정할 정확한 크롤러 이름(user-agent)이 필요합니다. 표에는 각 개발자의 공식 문서에 따른 이름과 용도가 나와 있으며, 기준일은 2026년 9월입니다.

| 크롤러(user-agent) 또는 토큰 | 소속 | 기능 | 노출을 위해 허용할까요? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | ChatGPT 검색에 웹사이트를 표시합니다 | 예 |
| `GPTBot` | OpenAI | 모델 학습용 텍스트를 수집합니다 | 직접 결정 |
| `ChatGPT-User` | OpenAI | 사용자 요청에 따라 페이지를 방문합니다 | 대체로 예 |
| `Claude-SearchBot` | Anthropic | 검색 품질을 높이기 위해 웹사이트를 색인합니다 | 예 |
| `ClaudeBot` | Anthropic | 모델 학습용 텍스트를 수집합니다 | 직접 결정 |
| `Claude-User` | Anthropic | Claude 사용자의 요청에 따라 페이지를 방문합니다 | 대체로 예 |
| `PerplexityBot` | Perplexity | 검색 결과에 웹사이트를 표시하고 링크합니다 | 예 |
| `Perplexity-User` | Perplexity | 사용자 요청에 따라 페이지를 방문합니다 | 대체로 예 |
| `Google-Extended` | Google | Google 생성형 AI를 위한 사이트 콘텐츠 사용을 제어하는 토큰입니다 | 직접 결정 |

`ChatGPT-User`, `Claude-User`, `Perplexity-User` 크롤러는 대화 중 사용자의 요청에 따라 페이지를 방문하지만, 개발자마다 접근 규칙이 다릅니다. OpenAI는 `robots.txt` 규칙이 `ChatGPT-User`에 적용되지 않을 수 있다고 설명합니다. Perplexity는 사용자가 방문을 시작했기 때문에 `Perplexity-User`가 일반적으로 해당 규칙을 무시한다고 설명합니다. Anthropic은 `robots.txt`를 통해 `Claude-User`의 접근을 제어합니다. 여기서 차단하면 Claude는 사용자 요청에 대한 응답으로 페이지를 가져오지 않습니다. 검색 크롤러의 접근은 별도로 설정합니다.

`Google-Extended`는 크롤링 시 자체 user-agent 행을 사용하지 않습니다. `robots.txt`에 지정하는 제어 토큰일 뿐입니다. 이 토큰은 콘텐츠를 Google 생성형 AI에 사용할 수 있는지를 결정하며 일반 Google 검색에는 영향을 주지 않습니다.

명확한 구조와 접근 가능한 텍스트를 갖춘 사이트를 만들고 싶다면 정보를 어떻게 구성할지 생각해 보세요.



## robots.txt에서 크롤러를 허용하는 방법: 단계별 안내

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

robots.txt 파일은 사이트 루트에 있으며 크롤러의 접근 규칙을 설정합니다. 어시스턴트의 검색 크롤러를 허용하려면 해당 user-agent와 크롤링 허용 규칙을 추가하세요. 각 하위 도메인에는 별도의 파일이 필요합니다.

</div>

`robots.txt`는 사이트 루트에 있는 일반 텍스트 파일이며 `https://example.com/robots.txt`와 같은 주소에서 이용할 수 있습니다. 크롤러는 크롤링을 시작하기 전에 이 파일을 읽고 지침을 따릅니다. 단, 앞서 설명한 사용자 요청에 따른 방문에는 예외가 있습니다.

1.  **현재 파일을 엽니다.** 브라우저에 사이트 주소를 입력하고 `/robots.txt`를 추가하세요. 파일에 이미 무엇이 있는지, 필요한 크롤러가 `Disallow: /` 행 때문에 실수로 차단되지는 않았는지 확인하세요. 제한 구역에 적용되는 `Disallow:` 행도 살펴보세요. 계정 페이지, 결제 페이지, 관리자 섹션 등에 적용되는 규칙은 다음 단계에서 필요합니다.
2.  **어시스턴트의 검색 크롤러를 위한 그룹을 추가합니다.** 각 그룹에는 크롤러 이름과 접근 규칙이 지정됩니다. 크롤링을 허용하려면 `Allow: /`를 사용하세요. 크롤러는 이름이 별도로 지정된 그룹의 규칙을 따르며 일반 `User-agent: *` 그룹의 규칙을 가져오지 않습니다. `User-agent: *`에만 있는 제한은 해당 크롤러에 적용되지 않습니다. 제한 구역이 있다면 새 그룹마다 같은 `Disallow:` 행을 반복해서 넣으세요. 그렇지 않으면 해당 크롤러에 구역이 열립니다.
3.  **학습 크롤러는 별도로 결정합니다.** 텍스트가 학습에 사용되는 것을 원치 않는다면 `GPTBot`과 `ClaudeBot`에 `Disallow: /`를 설정하세요. 검색 노출에는 영향을 주지 않습니다.
4.  **사이트 루트에 파일을 저장하고** `/robots.txt`에서 열리는지 확인하세요. 하위 도메인(예: `blog.example.com`)이 있다면 각 하위 도메인마다 파일이 필요합니다. 크롤러는 각 하위 도메인에 속한 파일을 읽습니다.

예시를 복사하기 전에 제한 구역에 적용되는 규칙을 확인하세요. `Disallow: /dashboard/`를 `User-agent: *`에만 남겨 두면 자체 그룹이 있는 `OAI-SearchBot`에는 적용되지 않습니다. 크롤러의 크롤링을 허용하는 각 그룹에 제한 경로를 나열하세요.

아래 예시에서는 어시스턴트의 검색 크롤러는 허용하지만, 제한 구역인 `/dashboard/`는 해당 크롤러 그룹에서 직접 차단합니다. 학습 크롤러는 전부 차단합니다. 학습 크롤러 차단은 선택 사항입니다. 직접 결정하고 제한 경로 목록은 자신의 목록으로 바꾸세요.

```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```

OpenAI와 Perplexity 문서에 따르면 두 시스템은 `robots.txt` 변경 사항을 반영하는 데 약 하루가 걸릴 수 있습니다. 파일을 저장한 직후 효과가 나타날 것으로 기대하지 마세요.

## 실제 운영 중인 사이트에서는 어떻게 보이나요?

설명한 `robots.txt` 설정 예시에서는 어시스턴트 크롤러 이름인 `GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` 등이 하나의 그룹에 모여 있습니다. 그 아래에는 `Allow: /`와 일반 `User-agent: *` 그룹에 있는 것과 동일한 제한 구역용 `Disallow:` 행이 있습니다. 해당 경로는 `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` 등입니다. 사이트맵 URL은 파일 끝에 `Sitemap:` 지시어를 사용해 나열합니다.

제한 구역이 해당 크롤러에게도 차단되도록 어시스턴트 크롤러 그룹에 제한을 반복해 넣습니다. 어떤 사이트든 `/robots.txt`를 열어 설정을 확인할 수 있습니다. 이 파일은 항상 공개되어 있습니다.

## 크롤러가 사이트를 이해하는 데 도움이 되는 것은 무엇인가요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

접근을 설정한 다음 브라우저 스크립트를 실행하지 않아도 페이지 텍스트가 보이는지, sitemap.xml 파일이 있는지, 답변 자체가 명확한지 확인하세요.

</div>

크롤링이 허용되어도 크롤러가 페이지 콘텐츠를 가져오지 못할 수 있습니다. 접근 규칙뿐 아니라 사이트가 텍스트를 제공하는 방식과 사람들이 콘텐츠를 찾도록 돕는 방법도 확인하세요.

- **텍스트를 즉시 이용할 수 있습니다.** 스크립트가 브라우저에서 페이지 콘텐츠를 렌더링하면 일부 크롤러에는 빈 껍데기만 보입니다. 확인하려면 페이지를 열고 “페이지 소스 보기”를 선택한 다음 텍스트를 검색하세요. 텍스트가 소스에 없고 일반 페이지 보기에서만 나타난다면 페이지가 제공되는 방식을 살펴봐야 합니다.
- **사이트맵이 있습니다.** `sitemap.xml` 파일은 모든 페이지의 목록입니다. 크롤러가 콘텐츠를 놓치지 않도록 도와줍니다. `Sitemap:` 행을 사용해 `robots.txt`에 사이트맵 링크를 추가하세요.
- **사람이 이해하기 쉬운 답변입니다.** 어시스턴트의 크롤러는 질문에 답하는 페이지를 찾습니다. 명확한 제목, 서두의 짧은 답변, 솔직한 표현이 키워드 목록보다 효과적입니다.

## 사이트가 AI에 보이지 않는 이유는 무엇인가요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

확인할 만한 원인은 세 가지입니다. `robots.txt`에서 크롤러가 차단되었거나, 브라우저 없이 볼 수 없는 스크립트가 텍스트를 생성하거나, 사이트 보안 설정이 크롤러를 차단하는 경우입니다. 첫 번째는 파일을 확인하고, 두 번째는 페이지 제공 방식을 확인하며, 세 번째는 보안 설정을 확인하세요.

</div>

사이트가 답변에 나타나지 않는다면 다음과 같은 접근 장벽이 있는지 확인하세요.

- **`robots.txt`에서 크롤러가 차단되었습니다.** 필요한 크롤러를 차단하는 일반 제한이 파일에 들어 있는 경우가 있습니다. 어시스턴트 크롤러에 적용되는 그룹에 `Disallow: /`가 있는지 확인하세요.
- **브라우저 없이 텍스트를 볼 수 없습니다.** 스크립트가 콘텐츠를 생성하면 크롤러가 콘텐츠를 가져오지 못할 수 있습니다. 소스 코드 확인 방법은 위에 설명되어 있습니다.
- **사이트 보안 설정이 크롤러를 차단합니다.** 많은 사이트가 Cloudflare 같은 원치 않는 트래픽 차단 기능을 사용합니다. 이런 기능은 `robots.txt`와 관계없이 접근을 차단할 수 있습니다. `robots.txt`로는 크롤러가 방문할 수 있는 경로를 제어하고, 사이트 보안 설정은 요청을 통과시킬지 결정합니다. Perplexity는 user-agent 이름과 공개된 IP 주소를 기준으로 보안 설정에서 크롤러를 수동으로 허용할 것을 권장합니다. 크롤링 규칙은 `robots.txt`로 설정하세요. Anthropic은 IP 주소만으로 크롤러를 차단하는 방식은 신뢰하기 어렵다고 별도로 경고합니다. 비슷한 서비스를 사용한다면 설정을 확인하세요.

원인을 하나씩 확인하세요. 먼저 `robots.txt`를 살펴보고, 다음으로 페이지 소스 코드를 확인한 뒤 보안 설정을 점검하세요. 이러한 장벽이 없다는 사실만으로 사이트가 답변에 등장한다고 보장할 수는 없습니다.

## 크롤러가 페이지에 도달했는지 확인하려면 어떻게 하나요?

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="섹션 핵심 요점">

핵심 요점

“인용되었음”을 직접 알려 주는 카운터는 없습니다. 하지만 기본적인 사항은 확인할 수 있습니다. robots.txt가 열리는지, 소스 코드에서 텍스트가 보이는지, 사이트맵을 이용할 수 있는지 확인하세요. 서버 로그에서는 user-agent를 통해 크롤러 방문을 확인할 수 있습니다.

</div>

이 확인을 통해 사이트의 접근성을 평가하고 크롤러 방문 기록을 찾을 수 있습니다.

- 브라우저에서 `https://example.com/robots.txt`를 여세요. 파일이 열리고 필요한 그룹이 들어 있어야 합니다.
- `https://example.com/sitemap.xml`에서 사이트맵을 여세요. 파일이 열리고 페이지 목록이 나와야 합니다.
- 중요한 페이지의 소스 코드를 표시하고 텍스트가 있는지 찾으세요.
- 서버 로그에 접근할 수 있다면 `OAI-SearchBot`, `PerplexityBot` 등의 크롤러 이름을 검색하세요. user-agent를 통해 방문을 확인할 수 있습니다.

이 확인만으로 어시스턴트가 특정 페이지를 선택할지 알 수는 없습니다. 이는 사용자의 질문과 페이지가 질문에 얼마나 잘 답하는지에 달려 있습니다.

## 이 설정으로 보장되지 않는 것

사이트에 접근할 수 있는 것과 어시스턴트의 답변에 사이트가 등장하는 것은 서로 다른 결과입니다. 이 설정에는 한계가 있습니다.

- **인용은 보장되지 않습니다.** 접근을 허용하면 크롤러가 사이트를 읽을 기회가 생길 뿐입니다. 어시스턴트가 인용할지는 질문에 따라 어시스턴트가 결정합니다.
- **순위나 트래픽을 약속하는 사람은 없습니다.** `robots.txt` 설정은 접근을 허용하지만 검색 결과에서 자리를 확보해 주지는 않습니다.
- **일부 크롤러는 파일의 규칙을 무시할 수 있습니다.** OpenAI의 `ChatGPT-User`와 Perplexity의 `Perplexity-User`처럼 사용자의 직접 요청에 따라 방문하는 일부 크롤러가 이에 해당합니다.
- **규칙은 바뀝니다.** 개발자는 크롤러 이름과 조건을 업데이트합니다. 몇 달에 한 번씩 문서를 확인해 보세요. 링크는 글 끝에 있습니다.

접근과 사이트 품질은 직접 관리할 수 있지만 링크를 포함할지는 어시스턴트가 결정합니다. 이 설정의 목적은 어시스턴트를 “속이려는” 것이 아니라 유용한 페이지를 검색하고 읽을 수 있도록 제공하는 것입니다.

## 다음 단계

`robots.txt`를 열어 어시스턴트의 검색 크롤러를 추가하고 사이트맵과 텍스트 이용 가능 여부를 확인하세요. 보안 설정이 접근을 차단한다면 해당 설정도 확인하세요. 이러한 조치는 기술적 장벽을 찾아 제거하는 데 도움이 됩니다. 그런 다음 페이지 자체를 살펴보세요. 대상 독자가 할 만한 구체적인 질문에 명확하게 답하고 있나요?

<div class="section" role="doc-bibliography" aria-label="출처">

### 출처

- [OpenAI: 크롤러 개요(OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: Claude 크롤러와 접근 제어 방법](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: 크롤러와 사이트 보안 설정](https://docs.perplexity.ai/guides/bots)
- [Google: 크롤러 개요와 Google-Extended 토큰](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

</div>







<div class="aside" data-semantic="ailoot-link" aria-label="Ailoot">

[ailoot.ai](https://ailoot.ai/)에서 Ailoot를 더 살펴보세요.

</div>

## ChatGPT, Claude, Perplexity 검색 크롤러가 사이트에 접근하도록 허용하는 방법: 자주 묻는 질문

### 이름이 지정된 크롤러 그룹을 추가하면 User-agent: *에서 막은 경로가 왜 열릴 수 있나요?

이름이 일치하는 그룹이 있는 크롤러는 와일드카드 그룹을 상속하지 않고 해당 그룹의 규칙을 사용합니다. 허용하는 각 이름별 그룹에 필요한 제한 경로의 Disallow 규칙을 다시 넣으세요.

### 검색 크롤러를 허용하면 AI가 반드시 내 페이지를 인용하나요?

아닙니다. robots.txt, 페이지 소스의 텍스트, 사이트맵 접근성, 서버 로그를 확인하세요. 이 검사는 접근 가능성이나 방문을 입증할 뿐 답변에 해당 페이지가 선택될 것을 보장하지 않습니다.


## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.