Crawler AI: consentire l’accesso a ChatGPT, Claude e Perplexity

Hai creato un sito web o un prodotto, ma quando qualcuno chiede «consigliami un servizio per questo compito», ChatGPT, Claude e Perplexity non lo menzionano. Vale la pena verificare se un assistente riesce a leggere il tuo sito e se l’accesso è bloccato.

Non esiste un pulsante per «entrare in una risposta dell’IA» e nessuno può garantire una citazione. ChatGPT, Claude e Perplexity hanno crawler separati per la ricerca: puoi consentire loro di accedere al tuo sito tramite robots.txt. Poi verifica se riescono ad accedere al testo della pagina e se la sicurezza del tuo sito ostacola l’accesso.

Cosa significa «essere visibili all’IA»?#

Quando qualcuno chiede a ChatGPT o Perplexity «dove posso leggere di X?» oppure «quale servizio dovrei scegliere?», a volte l’assistente cerca sul web e aggiunge link alle pagine. Perché la tua pagina entri in questo elenco di candidate, il crawler dell’assistente deve averla letta e non deve essergli stato negato l’accesso.

Sul tuo sito ci sono tre aspetti da verificare:

• il crawler può accedere al sito: non è bloccato in robots.txt e le misure di sicurezza non impediscono l’accesso;
• il crawler riesce a vedere il testo della pagina, non un guscio vuoto che il browser riempie;
• la pagina risponde a una domanda specifica in modo onesto e chiaro, invece di sostituire una risposta con un elenco di parole chiave.

Inizia dall’accesso: se il crawler non è riuscito a leggere la pagina, non potrà ottenere nemmeno il testo utile che contiene.

In cosa differisce un crawler di ricerca da un crawler di addestramento?#

L’accesso va consentito o bloccato separatamente per ciascun crawler. Una decisione generica di «far entrare l’IA nel sito» non tiene conto delle differenze tra i loro compiti.

• Un crawler di ricerca consente alle tue pagine di apparire nelle risposte dell’assistente quando un utente fa una domanda. Consentilo se vuoi che il tuo sito sia disponibile per la ricerca.
• Un crawler di addestramento raccoglie testi che potrebbero essere usati per addestrare versioni future di un modello. Decidere se consentirlo spetta a te; non influisce direttamente sulla tua presenza nelle risposte di ricerca attuali.

La documentazione di OpenAI fornisce un esempio: puoi consentire a un crawler di ricerca di esplorare il tuo sito e bloccare quello di addestramento, così il testo del tuo sito non viene usato per l’addestramento. Queste due impostazioni si configurano separatamente nello stesso file.

Quali sono i nomi dei crawler di ChatGPT, Claude e Perplexity?#

Per configurare l’accesso, ti servono i nomi esatti dei crawler (user-agent), che specifichi in robots.txt. La tabella elenca i nomi e le finalità secondo la documentazione ufficiale di ciascuno sviluppatore, aggiornata a settembre 2026.

I crawler ChatGPT-User, Claude-User e Perplexity-User visitano una pagina su richiesta di una persona durante una conversazione, ma ogni sviluppatore applica regole di accesso diverse. OpenAI dichiara che le regole di robots.txt potrebbero non applicarsi a ChatGPT-User. Perplexity dichiara che Perplexity-User di solito le ignora perché la visita è stata avviata dall’utente. Anthropic controlla l’accesso di Claude-User tramite robots.txt: se lo blocchi lì, Claude non recupererà le pagine in risposta alle richieste degli utenti. L’accesso ai crawler di ricerca si configura separatamente.

Quando esegue la scansione, Google-Extended non ha una propria riga user-agent: è solo un token di controllo in robots.txt. Determina se i tuoi contenuti possono essere usati per l’IA generativa di Google e non influisce sulla normale Ricerca Google.

Se vuoi creare un sito con una struttura chiara e testo accessibile, rifletti su come organizzare le informazioni.

Come consentire i crawler in robots.txt: passo dopo passo#

robots.txt è un file di testo semplice nella radice del tuo sito, disponibile a un indirizzo come https://example.com/robots.txt. I crawler lo leggono prima di eseguire la scansione e ne seguono le istruzioni, con le eccezioni per le visite su richiesta dell’utente descritte sopra.

1. Apri il file attuale. Inserisci l’indirizzo del tuo sito in un browser e aggiungi /robots.txt. Controlla cosa contiene già il file e se i crawler che ti servono sono stati bloccati per errore da una riga Disallow: /. Cerca anche le righe Disallow: per le aree riservate, come le pagine dell’account, quelle dei pagamenti e la sezione di amministrazione: ti serviranno nel passaggio successivo.
2. Aggiungi un gruppo per i crawler di ricerca degli assistenti. Ogni gruppo specifica il nome di un crawler e le regole di accesso. Per consentire la scansione, usa Allow: /. Un crawler segue le regole del gruppo in cui è indicato separatamente il suo nome; non eredita le regole dal gruppo generale User-agent: *. Le restrizioni presenti solo in User-agent: * non si applicano a quel crawler. Se hai aree riservate, ripeti le stesse righe Disallow: in ogni nuovo gruppo, altrimenti saranno accessibili a quel crawler.
3. Decidi separatamente per i crawler di addestramento. Se non vuoi che i testi siano usati per l’addestramento, imposta Disallow: / per GPTBot e ClaudeBot. Questo non influirà sulla visibilità nella ricerca.
4. Salva il file nella radice del tuo sito e verifica che si apra all’indirizzo /robots.txt. Se hai sottodomini (per esempio, blog.example.com), ognuno ha bisogno del proprio file: i crawler leggono il file corrispondente a ciascun sottodominio.

Prima di copiare l’esempio, controlla le restrizioni per le aree riservate. Se lasci Disallow: /dashboard/ solo in User-agent: *, non si applicherà a OAI-SearchBot, che ha un proprio gruppo. Elenca i percorsi riservati in ciascun gruppo in cui consenti a un crawler di eseguire la scansione.

Nell’esempio qui sotto, i crawler di ricerca degli assistenti sono autorizzati, ma l’area riservata /dashboard/ è bloccata direttamente nei loro gruppi; i crawler di addestramento sono bloccati del tutto. Bloccare i crawler di addestramento è facoltativo: la decisione spetta a te e dovresti sostituire l’elenco dei percorsi riservati con il tuo.

# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml

Secondo la documentazione di OpenAI e Perplexity, i loro sistemi potrebbero aver bisogno di circa un giorno per recepire le modifiche a robots.txt. Non aspettarti un effetto immediato dopo aver salvato il file.

Come appare su un sito attivo?#

Nell’esempio descritto delle impostazioni di robots.txt, i nomi dei crawler degli assistenti—GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended e altri—sono raccolti in un unico gruppo. Sotto compaiono Allow: / e le stesse righe Disallow: per le aree riservate presenti nel gruppo generale User-agent: *: /dashboard/, /admin/, /login, /account/, /order/ e altre. Gli URL della sitemap sono elencati alla fine del file tramite la direttiva Sitemap:.

Le restrizioni vengono ripetute nel gruppo dei crawler degli assistenti, così anche per loro le aree riservate sono bloccate. Puoi aprire il /robots.txt di qualsiasi sito e vedere come è configurato: il file è sempre pubblico.

Cos’altro aiuta i crawler a comprendere un sito?#

Anche quando la scansione è consentita, un crawler potrebbe non riuscire a ottenere il contenuto della pagina. Oltre alle regole di accesso, controlla come il sito fornisce il testo e aiuta le persone a trovare i suoi contenuti.

• Il testo è disponibile subito. Se gli script rendono il contenuto della pagina nel browser, alcuni crawler vedranno un guscio vuoto. Per verificare, apri la pagina, scegli «visualizza sorgente pagina» e cerca il tuo testo. Se non è presente e appare solo nella normale visualizzazione della pagina, devi esaminare come viene fornita la pagina.
• È presente una sitemap. Il file sitemap.xml è un elenco di tutte le tue pagine. Aiuta i crawler a non perdere contenuti. Aggiungi un link al file in robots.txt con una riga Sitemap:.
• La risposta è chiara per una persona. I crawler degli assistenti cercano pagine che rispondono a una domanda. Un’intestazione chiara, una risposta breve all’inizio e termini onesti funzionano meglio di un elenco di parole chiave.

Perché un sito potrebbe essere invisibile all’IA?#

Se il tuo sito non compare nelle risposte, verifica la presenza di queste possibili barriere all’accesso.

• Il crawler è bloccato in robots.txt. A volte il file contiene una restrizione generale che blocca i crawler che ti servono. Controlla se c’è un Disallow: / in un gruppo applicabile ai crawler degli assistenti.
• Il testo non è visibile senza un browser. Se gli script generano il contenuto, il crawler potrebbe non riuscire a ottenerlo. Il controllo del codice sorgente è descritto sopra.
• La sicurezza del sito blocca i crawler. Molti siti usano protezioni contro il traffico indesiderato, per esempio Cloudflare. Potrebbero bloccare l’accesso a prescindere da robots.txt. Con robots.txt controlli dove può andare un crawler, mentre la sicurezza del sito decide se lasciar passare la sua richiesta. Perplexity consiglia di autorizzare manualmente i crawler nelle impostazioni di sicurezza, in base ai nomi dei loro user-agent e agli indirizzi IP pubblicati. Imposta le regole di scansione tramite robots.txt: Anthropic avverte separatamente che bloccare i crawler solo in base all’indirizzo IP è inaffidabile. Se usi un servizio simile, controllane le impostazioni.

Verifica le cause una alla volta: inizia da robots.txt, poi guarda il codice sorgente della pagina e infine controlla le impostazioni di sicurezza. La sola assenza di queste barriere non garantisce che il tuo sito comparirà nelle risposte.

Come puoi verificare se un crawler ha raggiunto la pagina?#

Questa verifica aiuta a valutare l’accessibilità del tuo sito e a trovare tracce delle visite dei crawler.

• Apri https://example.com/robots.txt in un browser: il file dovrebbe aprirsi e contenere i gruppi necessari.
• Apri la sitemap all’indirizzo https://example.com/sitemap.xml: dovrebbe aprirsi ed elencare le pagine.
• Visualizza il codice sorgente di una pagina importante e cerca il tuo testo.
• Se hai accesso ai log del server, cercaci i nomi dei crawler, come OAI-SearchBot, PerplexityBot e altri. Le loro visite sono visibili tramite user-agent.

La verifica non mostrerà se l’assistente sceglierà proprio la tua pagina. Dipende dalla domanda dell’utente e da quanto bene la pagina vi risponde.

Cosa non garantiscono le impostazioni#

L’accesso al tuo sito e la sua comparsa nella risposta di un assistente sono risultati diversi. Queste impostazioni hanno dei limiti.

• La citazione non è garantita. L’accesso aperto dà solo al crawler l’opportunità di leggere il tuo sito. La decisione di citarti spetta all’assistente e dipende dalla domanda.
• Nessuno promette posizionamenti o traffico. L’impostazione di robots.txt apre l’accesso, ma non assicura un posto nei risultati di ricerca.
• Alcuni crawler potrebbero ignorare le regole del file. Vale per alcuni crawler che visitano il sito in risposta a una richiesta diretta dell’utente, per esempio ChatGPT-User di OpenAI e Perplexity-User di Perplexity.
• Le regole cambiano. Gli sviluppatori aggiornano i nomi dei crawler e le condizioni. Vale la pena controllare la documentazione ogni pochi mesi: i link sono alla fine.

Controlli l’accesso e la qualità del tuo sito, ma è l’assistente a decidere se includere un link. L’obiettivo di queste impostazioni è rendere una pagina utile disponibile per la ricerca e la lettura, senza cercare di «ingannare» l’assistente.

E adesso?#

Apri robots.txt, aggiungi i crawler di ricerca degli assistenti e controlla la sitemap e la disponibilità del testo. Se la sicurezza blocca l’accesso, controlla anche le relative impostazioni. Queste azioni aiutano a individuare e rimuovere le barriere tecniche. Poi controlla le pagine stesse: danno risposte chiare a domande specifiche del tuo pubblico?