ChatGPT, Claude, Perplexity 검색 크롤러가 사이트에 접근하도록 허용하는 방법

검색 및 학습 크롤러의 이름, 완전한 robots.txt 예시, 사이트맵, 텍스트 이용 가능 여부, 인용의 한계를 설명합니다.

전체 글 읽기

웹사이트나 제품을 만들었지만 누군가 “이 작업에 쓸 서비스를 추천해 줘”라고 물었을 때 ChatGPT, Claude, Perplexity가 이를 언급하지 않습니다. 어시스턴트가 사이트를 읽을 수 있는지, 접근이 차단되어 있지는 않은지 확인해 볼 필요가 있습니다.

“AI 답변에 등장하기” 버튼은 없으며, 누구도 인용을 보장할 수 없습니다. ChatGPT, Claude, Perplexity에는 검색을 위한 별도의 크롤러가 있습니다. robots.txt를 통해 이 크롤러가 사이트에 접근하도록 허용할 수 있습니다. 그런 다음 크롤러가 페이지 텍스트에 접근할 수 있는지, 사이트의 보안 설정이 접근을 방해하는지 확인하세요.

Ailoot 사용에 관한 실용적인 안내는 문서에서 확인할 수 있습니다.

“AI에 노출된다”는 것은 무슨 뜻인가요?

핵심 요점

AI 어시스턴트에는 서로 다른 작업을 수행하는 크롤러가 있습니다. 일부는 어시스턴트 내 검색을 위해 웹사이트를 수집하고, 다른 일부는 모델 학습에 쓸 텍스트를 수집합니다. 검색 답변에는 첫 번째 유형이 중요합니다. 크롤러의 접근을 허용할 수는 있지만, 그렇다고 어시스턴트가 반드시 사이트를 인용하는 것은 아닙니다. 인용은 누구도 보장할 수 없습니다.

누군가 ChatGPT나 Perplexity에 “X에 관해 어디서 읽을 수 있어?” 또는 “어떤 서비스를 선택해야 해?”라고 물으면, 어시스턴트가 웹을 검색하고 페이지 링크를 추가할 때가 있습니다. 페이지가 후보 목록에 오르려면 어시스턴트의 크롤러가 해당 페이지를 읽었고 접근을 거부당하지 않았어야 합니다.

사이트에서 다음 세 가지를 확인하세요.

크롤러가 사이트에 접근할 수 있습니다. robots.txt에서 차단되지 않았고 보안 조치도 접근을 막지 않습니다.
크롤러가 브라우저에서 채워지는 빈 껍데기가 아니라 페이지 텍스트를 볼 수 있습니다.
페이지가 키워드 목록으로 답을 대신하지 않고 특정 질문에 정직하고 명확하게 답합니다.

먼저 접근 가능 여부부터 확인하세요. 크롤러가 페이지를 읽지 못했다면 페이지의 유용한 텍스트도 가져갈 수 없습니다.

검색 크롤러와 학습 크롤러는 어떻게 다른가요?

핵심 요점

주요 어시스턴트마다 서로 다른 작업을 수행하는 크롤러가 있습니다. 검색 크롤러는 어시스턴트의 답변과 검색 결과에 웹사이트가 표시될 수 있도록 사이트를 수집합니다. 학습 크롤러는 모델을 학습시키기 위해 텍스트를 수집합니다. 이 설정은 서로 독립적이므로 검색 크롤러는 허용하고 학습 크롤러는 차단할 수 있습니다.

각 크롤러에 대한 접근을 개별적으로 허용하거나 차단해야 합니다. “AI가 사이트에 들어오게 한다”는 포괄적인 결정으로는 크롤러별 작업의 차이를 반영할 수 없습니다.

검색 크롤러는 사용자가 질문할 때 어시스턴트의 답변에 페이지가 표시되도록 합니다. 검색에 사이트를 노출하고 싶다면 허용하세요.
학습 크롤러는 모델의 향후 버전을 학습시키는 데 사용될 수 있는 텍스트를 수집합니다. 허용 여부는 직접 결정할 수 있으며, 현재 검색 답변에 노출되는지에는 직접 영향을 주지 않습니다.

OpenAI 문서에는 검색 크롤러의 사이트 크롤링은 허용하면서 학습 크롤러는 차단해 사이트 텍스트가 학습에 사용되지 않도록 하는 예가 나와 있습니다. 이 두 설정은 같은 파일에서 각각 구성합니다.

ChatGPT, Claude, Perplexity 크롤러의 이름은 무엇인가요?

핵심 요점

OpenAI의 검색 크롤러는 OAI-SearchBot, 학습 크롤러는 GPTBot이며, ChatGPT-User는 사용자의 요청에 따라 방문합니다. Anthropic의 경우 Claude-SearchBot(검색), ClaudeBot(학습), Claude-User(사용자 요청에 따른 방문)입니다. Perplexity의 경우 PerplexityBot(검색)과 Perplexity-User(사용자 요청에 따른 방문)가 있습니다. Google에는 생성형 AI를 위한 사이트 콘텐츠 사용을 제어하는 별도의 Google-Extended 토큰이 있습니다.

접근을 설정하려면 robots.txt에 지정할 정확한 크롤러 이름(user-agent)이 필요합니다. 표에는 각 개발자의 공식 문서에 따른 이름과 용도가 나와 있으며, 기준일은 2026년 9월입니다.

크롤러(user-agent) 또는 토큰	소속	기능	노출을 위해 허용할까요?
`OAI-SearchBot`	OpenAI	ChatGPT 검색에 웹사이트를 표시합니다	예
`GPTBot`	OpenAI	모델 학습용 텍스트를 수집합니다	직접 결정
`ChatGPT-User`	OpenAI	사용자 요청에 따라 페이지를 방문합니다	대체로 예
`Claude-SearchBot`	Anthropic	검색 품질을 높이기 위해 웹사이트를 색인합니다	예
`ClaudeBot`	Anthropic	모델 학습용 텍스트를 수집합니다	직접 결정
`Claude-User`	Anthropic	Claude 사용자의 요청에 따라 페이지를 방문합니다	대체로 예
`PerplexityBot`	Perplexity	검색 결과에 웹사이트를 표시하고 링크합니다	예
`Perplexity-User`	Perplexity	사용자 요청에 따라 페이지를 방문합니다	대체로 예
`Google-Extended`	Google	Google 생성형 AI를 위한 사이트 콘텐츠 사용을 제어하는 토큰입니다	직접 결정

ChatGPT-User, Claude-User, Perplexity-User 크롤러는 대화 중 사용자의 요청에 따라 페이지를 방문하지만, 개발자마다 접근 규칙이 다릅니다. OpenAI는 robots.txt 규칙이 ChatGPT-User에 적용되지 않을 수 있다고 설명합니다. Perplexity는 사용자가 방문을 시작했기 때문에 Perplexity-User가 일반적으로 해당 규칙을 무시한다고 설명합니다. Anthropic은 robots.txt를 통해 Claude-User의 접근을 제어합니다. 여기서 차단하면 Claude는 사용자 요청에 대한 응답으로 페이지를 가져오지 않습니다. 검색 크롤러의 접근은 별도로 설정합니다.

Google-Extended는 크롤링 시 자체 user-agent 행을 사용하지 않습니다. robots.txt에 지정하는 제어 토큰일 뿐입니다. 이 토큰은 콘텐츠를 Google 생성형 AI에 사용할 수 있는지를 결정하며 일반 Google 검색에는 영향을 주지 않습니다.

명확한 구조와 접근 가능한 텍스트를 갖춘 사이트를 만들고 싶다면 정보를 어떻게 구성할지 생각해 보세요.

robots.txt에서 크롤러를 허용하는 방법: 단계별 안내

핵심 요점

robots.txt 파일은 사이트 루트에 있으며 크롤러의 접근 규칙을 설정합니다. 어시스턴트의 검색 크롤러를 허용하려면 해당 user-agent와 크롤링 허용 규칙을 추가하세요. 각 하위 도메인에는 별도의 파일이 필요합니다.

robots.txt는 사이트 루트에 있는 일반 텍스트 파일이며 https://example.com/robots.txt와 같은 주소에서 이용할 수 있습니다. 크롤러는 크롤링을 시작하기 전에 이 파일을 읽고 지침을 따릅니다. 단, 앞서 설명한 사용자 요청에 따른 방문에는 예외가 있습니다.

현재 파일을 엽니다. 브라우저에 사이트 주소를 입력하고 /robots.txt를 추가하세요. 파일에 이미 무엇이 있는지, 필요한 크롤러가 Disallow: / 행 때문에 실수로 차단되지는 않았는지 확인하세요. 제한 구역에 적용되는 Disallow: 행도 살펴보세요. 계정 페이지, 결제 페이지, 관리자 섹션 등에 적용되는 규칙은 다음 단계에서 필요합니다.
어시스턴트의 검색 크롤러를 위한 그룹을 추가합니다. 각 그룹에는 크롤러 이름과 접근 규칙이 지정됩니다. 크롤링을 허용하려면 Allow: /를 사용하세요. 크롤러는 이름이 별도로 지정된 그룹의 규칙을 따르며 일반 User-agent: * 그룹의 규칙을 가져오지 않습니다. User-agent: *에만 있는 제한은 해당 크롤러에 적용되지 않습니다. 제한 구역이 있다면 새 그룹마다 같은 Disallow: 행을 반복해서 넣으세요. 그렇지 않으면 해당 크롤러에 구역이 열립니다.
학습 크롤러는 별도로 결정합니다. 텍스트가 학습에 사용되는 것을 원치 않는다면 GPTBot과 ClaudeBot에 Disallow: /를 설정하세요. 검색 노출에는 영향을 주지 않습니다.
사이트 루트에 파일을 저장하고 /robots.txt에서 열리는지 확인하세요. 하위 도메인(예: blog.example.com)이 있다면 각 하위 도메인마다 파일이 필요합니다. 크롤러는 각 하위 도메인에 속한 파일을 읽습니다.

예시를 복사하기 전에 제한 구역에 적용되는 규칙을 확인하세요. Disallow: /dashboard/를 User-agent: *에만 남겨 두면 자체 그룹이 있는 OAI-SearchBot에는 적용되지 않습니다. 크롤러의 크롤링을 허용하는 각 그룹에 제한 경로를 나열하세요.

아래 예시에서는 어시스턴트의 검색 크롤러는 허용하지만, 제한 구역인 /dashboard/는 해당 크롤러 그룹에서 직접 차단합니다. 학습 크롤러는 전부 차단합니다. 학습 크롤러 차단은 선택 사항입니다. 직접 결정하고 제한 경로 목록은 자신의 목록으로 바꾸세요.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

OpenAI와 Perplexity 문서에 따르면 두 시스템은 robots.txt 변경 사항을 반영하는 데 약 하루가 걸릴 수 있습니다. 파일을 저장한 직후 효과가 나타날 것으로 기대하지 마세요.

실제 운영 중인 사이트에서는 어떻게 보이나요?

설명한 robots.txt 설정 예시에서는 어시스턴트 크롤러 이름인 GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended 등이 하나의 그룹에 모여 있습니다. 그 아래에는 Allow: /와 일반 User-agent: * 그룹에 있는 것과 동일한 제한 구역용 Disallow: 행이 있습니다. 해당 경로는 /dashboard/, /admin/, /login, /account/, /order/ 등입니다. 사이트맵 URL은 파일 끝에 Sitemap: 지시어를 사용해 나열합니다.

제한 구역이 해당 크롤러에게도 차단되도록 어시스턴트 크롤러 그룹에 제한을 반복해 넣습니다. 어떤 사이트든 /robots.txt를 열어 설정을 확인할 수 있습니다. 이 파일은 항상 공개되어 있습니다.

크롤러가 사이트를 이해하는 데 도움이 되는 것은 무엇인가요?

핵심 요점

접근을 설정한 다음 브라우저 스크립트를 실행하지 않아도 페이지 텍스트가 보이는지, sitemap.xml 파일이 있는지, 답변 자체가 명확한지 확인하세요.

크롤링이 허용되어도 크롤러가 페이지 콘텐츠를 가져오지 못할 수 있습니다. 접근 규칙뿐 아니라 사이트가 텍스트를 제공하는 방식과 사람들이 콘텐츠를 찾도록 돕는 방법도 확인하세요.

텍스트를 즉시 이용할 수 있습니다. 스크립트가 브라우저에서 페이지 콘텐츠를 렌더링하면 일부 크롤러에는 빈 껍데기만 보입니다. 확인하려면 페이지를 열고 “페이지 소스 보기”를 선택한 다음 텍스트를 검색하세요. 텍스트가 소스에 없고 일반 페이지 보기에서만 나타난다면 페이지가 제공되는 방식을 살펴봐야 합니다.
사이트맵이 있습니다. sitemap.xml 파일은 모든 페이지의 목록입니다. 크롤러가 콘텐츠를 놓치지 않도록 도와줍니다. Sitemap: 행을 사용해 robots.txt에 사이트맵 링크를 추가하세요.
사람이 이해하기 쉬운 답변입니다. 어시스턴트의 크롤러는 질문에 답하는 페이지를 찾습니다. 명확한 제목, 서두의 짧은 답변, 솔직한 표현이 키워드 목록보다 효과적입니다.

사이트가 AI에 보이지 않는 이유는 무엇인가요?

핵심 요점

확인할 만한 원인은 세 가지입니다. robots.txt에서 크롤러가 차단되었거나, 브라우저 없이 볼 수 없는 스크립트가 텍스트를 생성하거나, 사이트 보안 설정이 크롤러를 차단하는 경우입니다. 첫 번째는 파일을 확인하고, 두 번째는 페이지 제공 방식을 확인하며, 세 번째는 보안 설정을 확인하세요.

사이트가 답변에 나타나지 않는다면 다음과 같은 접근 장벽이 있는지 확인하세요.

robots.txt에서 크롤러가 차단되었습니다. 필요한 크롤러를 차단하는 일반 제한이 파일에 들어 있는 경우가 있습니다. 어시스턴트 크롤러에 적용되는 그룹에 Disallow: /가 있는지 확인하세요.
브라우저 없이 텍스트를 볼 수 없습니다. 스크립트가 콘텐츠를 생성하면 크롤러가 콘텐츠를 가져오지 못할 수 있습니다. 소스 코드 확인 방법은 위에 설명되어 있습니다.
사이트 보안 설정이 크롤러를 차단합니다. 많은 사이트가 Cloudflare 같은 원치 않는 트래픽 차단 기능을 사용합니다. 이런 기능은 robots.txt와 관계없이 접근을 차단할 수 있습니다. robots.txt로는 크롤러가 방문할 수 있는 경로를 제어하고, 사이트 보안 설정은 요청을 통과시킬지 결정합니다. Perplexity는 user-agent 이름과 공개된 IP 주소를 기준으로 보안 설정에서 크롤러를 수동으로 허용할 것을 권장합니다. 크롤링 규칙은 robots.txt로 설정하세요. Anthropic은 IP 주소만으로 크롤러를 차단하는 방식은 신뢰하기 어렵다고 별도로 경고합니다. 비슷한 서비스를 사용한다면 설정을 확인하세요.

원인을 하나씩 확인하세요. 먼저 robots.txt를 살펴보고, 다음으로 페이지 소스 코드를 확인한 뒤 보안 설정을 점검하세요. 이러한 장벽이 없다는 사실만으로 사이트가 답변에 등장한다고 보장할 수는 없습니다.

크롤러가 페이지에 도달했는지 확인하려면 어떻게 하나요?

핵심 요점

“인용되었음”을 직접 알려 주는 카운터는 없습니다. 하지만 기본적인 사항은 확인할 수 있습니다. robots.txt가 열리는지, 소스 코드에서 텍스트가 보이는지, 사이트맵을 이용할 수 있는지 확인하세요. 서버 로그에서는 user-agent를 통해 크롤러 방문을 확인할 수 있습니다.

이 확인을 통해 사이트의 접근성을 평가하고 크롤러 방문 기록을 찾을 수 있습니다.

브라우저에서 https://example.com/robots.txt를 여세요. 파일이 열리고 필요한 그룹이 들어 있어야 합니다.
https://example.com/sitemap.xml에서 사이트맵을 여세요. 파일이 열리고 페이지 목록이 나와야 합니다.
중요한 페이지의 소스 코드를 표시하고 텍스트가 있는지 찾으세요.
서버 로그에 접근할 수 있다면 OAI-SearchBot, PerplexityBot 등의 크롤러 이름을 검색하세요. user-agent를 통해 방문을 확인할 수 있습니다.

이 확인만으로 어시스턴트가 특정 페이지를 선택할지 알 수는 없습니다. 이는 사용자의 질문과 페이지가 질문에 얼마나 잘 답하는지에 달려 있습니다.

이 설정으로 보장되지 않는 것

사이트에 접근할 수 있는 것과 어시스턴트의 답변에 사이트가 등장하는 것은 서로 다른 결과입니다. 이 설정에는 한계가 있습니다.

인용은 보장되지 않습니다. 접근을 허용하면 크롤러가 사이트를 읽을 기회가 생길 뿐입니다. 어시스턴트가 인용할지는 질문에 따라 어시스턴트가 결정합니다.
순위나 트래픽을 약속하는 사람은 없습니다. robots.txt 설정은 접근을 허용하지만 검색 결과에서 자리를 확보해 주지는 않습니다.
일부 크롤러는 파일의 규칙을 무시할 수 있습니다. OpenAI의 ChatGPT-User와 Perplexity의 Perplexity-User처럼 사용자의 직접 요청에 따라 방문하는 일부 크롤러가 이에 해당합니다.
규칙은 바뀝니다. 개발자는 크롤러 이름과 조건을 업데이트합니다. 몇 달에 한 번씩 문서를 확인해 보세요. 링크는 글 끝에 있습니다.

접근과 사이트 품질은 직접 관리할 수 있지만 링크를 포함할지는 어시스턴트가 결정합니다. 이 설정의 목적은 어시스턴트를 “속이려는” 것이 아니라 유용한 페이지를 검색하고 읽을 수 있도록 제공하는 것입니다.

다음 단계

robots.txt를 열어 어시스턴트의 검색 크롤러를 추가하고 사이트맵과 텍스트 이용 가능 여부를 확인하세요. 보안 설정이 접근을 차단한다면 해당 설정도 확인하세요. 이러한 조치는 기술적 장벽을 찾아 제거하는 데 도움이 됩니다. 그런 다음 페이지 자체를 살펴보세요. 대상 독자가 할 만한 구체적인 질문에 명확하게 답하고 있나요?

출처

ailoot.ai에서 Ailoot를 더 살펴보세요.