Cómo permitir que los rastreadores de búsqueda de ChatGPT, Claude y Perplexity accedan a tu sitio

Has creado un sitio web o un producto, pero cuando alguien pregunta «recomiéndame un servicio para esta tarea», ChatGPT, Claude y Perplexity no lo mencionan. Vale la pena comprobar si un asistente puede leer tu sitio y si el acceso está bloqueado.

No hay ningún botón para «aparecer en una respuesta de IA», y nadie puede garantizar una cita. ChatGPT, Claude y Perplexity tienen rastreadores distintos para las búsquedas: puedes permitirles acceder a tu sitio mediante robots.txt. Después, comprueba si pueden acceder al texto de la página y si la seguridad de tu sitio está impidiendo el acceso.

¿Qué significa «ser visible para la IA»?#

Cuando alguien pregunta a ChatGPT o Perplexity «¿dónde puedo leer sobre X?» o «¿qué servicio debería elegir?», a veces el asistente busca en la web y añade enlaces a páginas. Para que tu página aparezca en esta lista de candidatas, el rastreador del asistente debe haberla leído y no debe habérsele denegado el acceso.

Hay tres aspectos que debes comprobar en tu sitio:

• el rastreador puede acceder al sitio: no está bloqueado en robots.txt y las medidas de seguridad no impiden el acceso;
• el rastreador puede ver el texto de la página, no una estructura vacía que el navegador rellena;
• la página responde a una pregunta concreta con honestidad y claridad, en lugar de sustituir la respuesta por una lista de palabras clave.

Empieza por el acceso: si el rastreador no pudo leer la página, tampoco obtendrá el texto útil que contiene.

¿En qué se diferencia un rastreador de búsqueda de uno de entrenamiento?#

El acceso debe permitirse o bloquearse por separado para cada rastreador. Una decisión general de «dejar que la IA entre en el sitio» no tiene en cuenta las diferencias entre sus tareas.

• Un rastreador de búsqueda permite que tus páginas aparezcan en las respuestas del asistente cuando alguien hace una pregunta. Permítelo si quieres que tu sitio esté disponible para las búsquedas.
• Un rastreador de entrenamiento recopila texto que puede usarse para entrenar futuras versiones de un modelo. Tú decides si lo permites; esto no afecta directamente a tu aparición en las respuestas de búsqueda actuales.

La documentación de OpenAI da un ejemplo: puedes permitir que un rastreador de búsqueda rastree tu sitio y, al mismo tiempo, bloquear el rastreador de entrenamiento para que el texto de tu sitio no se use para entrenar modelos. Estos dos ajustes se configuran de forma independiente en el mismo archivo.

¿Cómo se llaman los rastreadores de ChatGPT, Claude y Perplexity?#

Para configurar el acceso, necesitas los nombres exactos de los rastreadores (user-agent), que se especifican en robots.txt. La tabla incluye sus nombres y funciones según la documentación oficial de cada desarrollador, a fecha de septiembre de 2026.

Los rastreadores ChatGPT-User, Claude-User y Perplexity-User visitan una página a petición de una persona en una conversación, pero cada desarrollador tiene reglas de acceso diferentes. OpenAI indica que las reglas de robots.txt pueden no aplicarse a ChatGPT-User. Perplexity indica que Perplexity-User suele ignorarlas porque la visita la inició el usuario. Anthropic controla el acceso de Claude-User mediante robots.txt: si lo bloqueas allí, Claude no recuperará páginas en respuesta a las peticiones de los usuarios. El acceso de los rastreadores de búsqueda se configura por separado.

Google-Extended no tiene su propia línea de user-agent al rastrear: es únicamente un token de control en robots.txt. Determina si el contenido de tu sitio puede utilizarse para la IA generativa de Google y no afecta a la Búsqueda de Google normal.

Si quieres crear un sitio con una estructura clara y texto accesible, piensa en cómo organizar la información.

Cómo permitir rastreadores en robots.txt: paso a paso#

robots.txt es un archivo de texto sin formato en la raíz de tu sitio, disponible en una dirección como https://example.com/robots.txt. Los rastreadores lo leen antes de rastrear el sitio y siguen sus instrucciones, con las excepciones descritas anteriormente para las visitas a petición del usuario.

1. Abre el archivo actual. Escribe la dirección de tu sitio en un navegador y añade /robots.txt. Comprueba qué contiene ya el archivo y si los rastreadores que necesitas se han bloqueado accidentalmente con una línea Disallow: /. Busca también líneas Disallow: para las áreas restringidas —páginas de cuenta, páginas de pago y la sección de administración—: las necesitarás en el siguiente paso.
2. Añade un grupo para los rastreadores de búsqueda de los asistentes. Cada grupo especifica el nombre de un rastreador y sus reglas de acceso. Para permitir el rastreo, usa Allow: /. Un rastreador sigue las reglas del grupo en el que se especifica su nombre por separado; no toma reglas del grupo general User-agent: *. Las restricciones que aparecen solo en User-agent: * no se aplican a ese rastreador. Si tienes áreas restringidas, repite las mismas líneas Disallow: en cada grupo nuevo; de lo contrario, el rastreador podrá acceder a ellas.
3. Decide por separado qué hacer con los rastreadores de entrenamiento. Si no quieres que el texto se use para entrenar modelos, establece Disallow: / para GPTBot y ClaudeBot. Esto no afectará a la visibilidad en las búsquedas.
4. Guarda el archivo en la raíz de tu sitio y comprueba que se abra en /robots.txt. Si tienes subdominios (por ejemplo, blog.example.com), cada uno necesita su propio archivo: los rastreadores leen el archivo correspondiente a cada subdominio.

Antes de copiar el ejemplo, comprueba las restricciones de las áreas restringidas. Si dejas Disallow: /dashboard/ solo en User-agent: *, no se aplicará a OAI-SearchBot, que tiene su propio grupo. Indica las rutas restringidas en cada grupo en el que permitas a un rastreador acceder al sitio.

En el ejemplo siguiente, se permite el acceso a los rastreadores de búsqueda de los asistentes, pero el área restringida /dashboard/ se bloquea directamente en sus grupos; los rastreadores de entrenamiento se bloquean por completo. Bloquear los rastreadores de entrenamiento es opcional: tú decides, y debes sustituir la lista de rutas restringidas por la tuya.

# Permitir los rastreadores de búsqueda de los asistentes, pero bloquear las áreas restringidas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Bloquear los rastreadores de entrenamiento (opcional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# El mapa del sitio ayuda a los rastreadores a encontrar todas las páginas
Sitemap: https://example.com/sitemap.xml

Según la documentación de OpenAI y Perplexity, sus sistemas pueden tardar alrededor de un día en tener en cuenta los cambios en robots.txt. No esperes un efecto inmediato después de guardar el archivo.

¿Cómo se ve esto en un sitio activo?#

En el ejemplo descrito de configuración de robots.txt, los nombres de los rastreadores de asistentes —GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended y otros— se agrupan en un solo grupo. Debajo aparecen Allow: / y las mismas líneas Disallow: para las áreas restringidas que en el grupo general User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ y otras. Las URL del mapa del sitio se enumeran al final del archivo mediante la directiva Sitemap:.

Las restricciones se repiten en el grupo de rastreadores de asistentes para que las áreas restringidas también queden bloqueadas para ellos. Puedes abrir el /robots.txt de cualquier sitio y ver cómo está configurado: el archivo siempre es público.

¿Qué más ayuda a los rastreadores a entender un sitio?#

Aunque se permita el rastreo, es posible que un rastreador no obtenga el contenido de la página. Además de las reglas de acceso, comprueba cómo ofrece texto el sitio y cómo ayuda a las personas a encontrar su contenido.

• El texto está disponible de inmediato. Si los scripts muestran el contenido de la página en el navegador, algunos rastreadores verán una estructura vacía. Para comprobarlo, abre la página, selecciona «ver código fuente de la página» y busca tu texto. Si no está allí y solo aparece en la vista normal de la página, debes investigar cómo se entrega la página.
• Hay un mapa del sitio. El archivo sitemap.xml es una lista de todas tus páginas. Ayuda a los rastreadores a no pasar por alto contenido. Añade un enlace a este archivo en robots.txt con una línea Sitemap:.
• La respuesta es clara para una persona. Los rastreadores de los asistentes buscan páginas que respondan a una pregunta. Un encabezado claro, una respuesta breve al principio y términos honestos funcionan mejor que una lista de palabras clave.

¿Por qué podría ser un sitio invisible para la IA?#

Si tu sitio no aparece en las respuestas, comprueba si existen estas posibles barreras de acceso.

• El rastreador está bloqueado en robots.txt. A veces el archivo contiene una restricción general que bloquea los rastreadores que necesitas. Comprueba si hay un Disallow: / en algún grupo que se aplique a los rastreadores de los asistentes.
• El texto no es visible sin un navegador. Si los scripts generan el contenido, es posible que el rastreador no lo reciba. La comprobación del código fuente se describe más arriba.
• La seguridad del sitio bloquea los rastreadores. Muchos sitios usan protección contra el tráfico no deseado, como Cloudflare. Esta puede bloquear el acceso independientemente de robots.txt. Usas robots.txt para controlar adónde puede ir un rastreador, mientras que la seguridad del sitio decide si deja pasar su solicitud. Perplexity recomienda permitir manualmente los rastreadores en los ajustes de seguridad por sus nombres de user-agent y sus direcciones IP publicadas. Configura las reglas de rastreo mediante robots.txt: Anthropic también advierte que bloquear rastreadores únicamente por dirección IP no es fiable. Si usas un servicio similar, revisa sus ajustes.

Comprueba las causas una por una: empieza por robots.txt, después revisa el código fuente de la página y, por último, comprueba los ajustes de seguridad. La ausencia de estas barreras no garantiza por sí sola que tu sitio aparezca en las respuestas.

¿Cómo puedes comprobar si un rastreador llegó a la página?#

Esta comprobación ayuda a evaluar la accesibilidad de tu sitio y a encontrar registros de las visitas de los rastreadores.

• Abre https://example.com/robots.txt en un navegador: el archivo debería abrirse y contener los grupos necesarios.
• Abre el mapa del sitio en https://example.com/sitemap.xml: debería abrirse y enumerar páginas.
• Consulta el código fuente de una página importante y busca tu texto.
• Si tienes acceso a los registros del servidor, busca en ellos los nombres de los rastreadores —OAI-SearchBot, PerplexityBot y otros—. Sus visitas se ven por el user-agent.

La comprobación no mostrará si el asistente elegirá tu página en particular. Eso depende de la pregunta del usuario y de lo bien que la responda la página.

Qué no garantizan estos ajustes#

El acceso a tu sitio y su aparición en la respuesta de un asistente son resultados distintos. Estos ajustes tienen limitaciones.

• No se garantiza una cita. El acceso abierto solo da a un rastreador la oportunidad de leer tu sitio. Que el asistente te cite depende del asistente y de la pregunta.
• Nadie promete posiciones en los resultados ni tráfico. El ajuste de robots.txt permite el acceso, pero no asegura un lugar en los resultados de búsqueda.
• Algunos rastreadores pueden ignorar las reglas del archivo. Esto se aplica a ciertos rastreadores que acceden al sitio en respuesta a una petición directa del usuario, por ejemplo, ChatGPT-User de OpenAI y Perplexity-User de Perplexity.
• Las reglas cambian. Los desarrolladores actualizan los nombres de los rastreadores y las condiciones. Vale la pena consultar la documentación cada pocos meses; encontrarás los enlaces al final.

Controlas el acceso y la calidad de tu sitio, pero el asistente decide si incluye un enlace. El objetivo de estos ajustes es poner una página útil a disposición de las búsquedas y la lectura, sin intentar «engañar» al asistente.

Qué hacer a continuación#

Abre robots.txt, añade los rastreadores de búsqueda de los asistentes y comprueba el mapa del sitio y la disponibilidad del texto. Si la seguridad está bloqueando el acceso, revisa también sus ajustes. Estas acciones ayudan a identificar y eliminar barreras técnicas. Después, revisa las páginas: ¿ofrecen respuestas claras a preguntas concretas de tu público?