# Crawler AI: consentire l’accesso a ChatGPT, Claude e Perplexity
> Nomi dei crawler di ricerca e di addestramento, un esempio completo di robots.txt, sitemap, disponibilità del testo e limiti delle citazioni.
Source: https://ailoot.ai/blog/it/ai-search-crawlers-robots-txt/
Canonical: https://ailoot.ai/blog/it/ai-search-crawlers-robots-txt/
Language: it
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-144
Revision: sha256-6b57fbc6f27db3a40253bed427abd44976470db1b886c9afead7b4e4771ccb9f
Hai creato un sito web o un prodotto, ma quando qualcuno chiede «consigliami un servizio per questo compito», ChatGPT, Claude e Perplexity non lo menzionano. Vale la pena verificare se un assistente riesce a leggere il tuo sito e se l’accesso è bloccato.
Non esiste un pulsante per «entrare in una risposta dell’IA» e nessuno può garantire una citazione. ChatGPT, Claude e Perplexity hanno crawler separati per la ricerca: puoi consentire loro di accedere al tuo sito tramite `robots.txt`. Poi verifica se riescono ad accedere al testo della pagina e se la sicurezza del tuo sito ostacola l’accesso.
Le istruzioni pratiche per lavorare con Ailoot sono nella [documentazione](https://ailoot.ai/docs/).
## Cosa significa «essere visibili all’IA»?
Punto chiave
Gli assistenti IA hanno crawler per compiti diversi: alcuni raccolgono siti web per la ricerca all’interno dell’assistente, mentre altri raccolgono testi per addestrare modelli. Il primo tipo è importante per le risposte di ricerca. Puoi consentire l’accesso a un crawler, ma questo non obbliga l’assistente a citarti: nessuno può garantire una citazione.
Quando qualcuno chiede a ChatGPT o Perplexity «dove posso leggere di X?» oppure «quale servizio dovrei scegliere?», a volte l’assistente cerca sul web e aggiunge link alle pagine. Perché la tua pagina entri in questo elenco di candidate, il crawler dell’assistente deve averla letta e non deve essergli stato negato l’accesso.
Sul tuo sito ci sono tre aspetti da verificare:
- il crawler può accedere al sito: non è bloccato in `robots.txt` e le misure di sicurezza non impediscono l’accesso;
- il crawler riesce a vedere il testo della pagina, non un guscio vuoto che il browser riempie;
- la pagina risponde a una domanda specifica in modo onesto e chiaro, invece di sostituire una risposta con un elenco di parole chiave.
Inizia dall’accesso: se il crawler non è riuscito a leggere la pagina, non potrà ottenere nemmeno il testo utile che contiene.
## In cosa differisce un crawler di ricerca da un crawler di addestramento?
Punto chiave
Ogni assistente principale ha crawler con compiti distinti. Un crawler di ricerca raccoglie siti web affinché possano comparire nelle risposte e nei risultati di ricerca dell’assistente. Un crawler di addestramento raccoglie testi per addestrare un modello. Queste impostazioni sono indipendenti: puoi consentire il crawler di ricerca e bloccare quello di addestramento.
L’accesso va consentito o bloccato separatamente per ciascun crawler. Una decisione generica di «far entrare l’IA nel sito» non tiene conto delle differenze tra i loro compiti.
- **Un crawler di ricerca** consente alle tue pagine di apparire nelle risposte dell’assistente quando un utente fa una domanda. Consentilo se vuoi che il tuo sito sia disponibile per la ricerca.
- **Un crawler di addestramento** raccoglie testi che potrebbero essere usati per addestrare versioni future di un modello. Decidere se consentirlo spetta a te; non influisce direttamente sulla tua presenza nelle risposte di ricerca attuali.
La documentazione di OpenAI fornisce un esempio: puoi consentire a un crawler di ricerca di esplorare il tuo sito e bloccare quello di addestramento, così il testo del tuo sito non viene usato per l’addestramento. Queste due impostazioni si configurano separatamente nello stesso file.
## Quali sono i nomi dei crawler di ChatGPT, Claude e Perplexity?
Punto chiave
Per OpenAI, il crawler di ricerca è OAI-SearchBot, quello di addestramento è GPTBot e ChatGPT-User visita il sito su richiesta dell’utente. Per Anthropic: Claude-SearchBot (ricerca), ClaudeBot (addestramento) e Claude-User (su richiesta dell’utente). Per Perplexity: PerplexityBot (ricerca) e Perplexity-User (su richiesta dell’utente). Google ha un token separato, Google-Extended, che controlla l’uso dei contenuti del sito per l’IA generativa.
Per configurare l’accesso, ti servono i nomi esatti dei crawler (user-agent), che specifichi in `robots.txt`. La tabella elenca i nomi e le finalità secondo la documentazione ufficiale di ciascuno sviluppatore, aggiornata a settembre 2026.
| Crawler (user-agent) o token | Appartiene a | Cosa fa | Consentirlo per la visibilità? |
|----|----|----|----|
| `OAI-SearchBot` | OpenAI | Mostra siti web nella ricerca di ChatGPT | Sì |
| `GPTBot` | OpenAI | Raccoglie testi per addestrare modelli | A tua discrezione |
| `ChatGPT-User` | OpenAI | Visita una pagina su richiesta dell’utente | Di solito sì |
| `Claude-SearchBot` | Anthropic | Indicizza siti web per migliorare la qualità della ricerca | Sì |
| `ClaudeBot` | Anthropic | Raccoglie testi per addestrare modelli | A tua discrezione |
| `Claude-User` | Anthropic | Visita una pagina su richiesta di un utente di Claude | Di solito sì |
| `PerplexityBot` | Perplexity | Mostra e collega siti web nei risultati di ricerca | Sì |
| `Perplexity-User` | Perplexity | Visita una pagina su richiesta dell’utente | Di solito sì |
| `Google-Extended` | Google | Un token che controlla l’uso dei contenuti del sito per l’IA generativa di Google | A tua discrezione |
I crawler `ChatGPT-User`, `Claude-User` e `Perplexity-User` visitano una pagina su richiesta di una persona durante una conversazione, ma ogni sviluppatore applica regole di accesso diverse. OpenAI dichiara che le regole di `robots.txt` potrebbero non applicarsi a `ChatGPT-User`. Perplexity dichiara che `Perplexity-User` di solito le ignora perché la visita è stata avviata dall’utente. Anthropic controlla l’accesso di `Claude-User` tramite `robots.txt`: se lo blocchi lì, Claude non recupererà le pagine in risposta alle richieste degli utenti. L’accesso ai crawler di ricerca si configura separatamente.
Quando esegue la scansione, `Google-Extended` non ha una propria riga user-agent: è solo un token di controllo in `robots.txt`. Determina se i tuoi contenuti possono essere usati per l’IA generativa di Google e non influisce sulla normale Ricerca Google.
Se vuoi creare un sito con una struttura chiara e testo accessibile, rifletti su come organizzare le informazioni.
## Come consentire i crawler in robots.txt: passo dopo passo
Punto chiave
Il file robots.txt si trova nella radice del sito e stabilisce le regole di accesso per i crawler. Per consentire i crawler di ricerca degli assistenti, aggiungi i loro user-agent con il permesso di eseguire la scansione. Ogni sottodominio ha bisogno del proprio file.
`robots.txt` è un file di testo semplice nella radice del tuo sito, disponibile a un indirizzo come `https://example.com/robots.txt`. I crawler lo leggono prima di eseguire la scansione e ne seguono le istruzioni, con le eccezioni per le visite su richiesta dell’utente descritte sopra.
1. **Apri il file attuale.** Inserisci l’indirizzo del tuo sito in un browser e aggiungi `/robots.txt`. Controlla cosa contiene già il file e se i crawler che ti servono sono stati bloccati per errore da una riga `Disallow: /`. Cerca anche le righe `Disallow:` per le aree riservate, come le pagine dell’account, quelle dei pagamenti e la sezione di amministrazione: ti serviranno nel passaggio successivo.
2. **Aggiungi un gruppo per i crawler di ricerca degli assistenti.** Ogni gruppo specifica il nome di un crawler e le regole di accesso. Per consentire la scansione, usa `Allow: /`. Un crawler segue le regole del gruppo in cui è indicato separatamente il suo nome; non eredita le regole dal gruppo generale `User-agent: *`. Le restrizioni presenti solo in `User-agent: *` non si applicano a quel crawler. Se hai aree riservate, ripeti le stesse righe `Disallow:` in ogni nuovo gruppo, altrimenti saranno accessibili a quel crawler.
3. **Decidi separatamente per i crawler di addestramento.** Se non vuoi che i testi siano usati per l’addestramento, imposta `Disallow: /` per `GPTBot` e `ClaudeBot`. Questo non influirà sulla visibilità nella ricerca.
4. **Salva il file nella radice del tuo sito** e verifica che si apra all’indirizzo `/robots.txt`. Se hai sottodomini (per esempio, `blog.example.com`), ognuno ha bisogno del proprio file: i crawler leggono il file corrispondente a ciascun sottodominio.
Prima di copiare l’esempio, controlla le restrizioni per le aree riservate. Se lasci `Disallow: /dashboard/` solo in `User-agent: *`, non si applicherà a `OAI-SearchBot`, che ha un proprio gruppo. Elenca i percorsi riservati in ciascun gruppo in cui consenti a un crawler di eseguire la scansione.
Nell’esempio qui sotto, i crawler di ricerca degli assistenti sono autorizzati, ma l’area riservata `/dashboard/` è bloccata direttamente nei loro gruppi; i crawler di addestramento sono bloccati del tutto. Bloccare i crawler di addestramento è facoltativo: la decisione spetta a te e dovresti sostituire l’elenco dei percorsi riservati con il tuo.
```
# Allow assistants' search crawlers, but block restricted areas
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/
User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/
# Block training crawlers (optional)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# The sitemap helps crawlers find all pages
Sitemap: https://example.com/sitemap.xml
```
Secondo la documentazione di OpenAI e Perplexity, i loro sistemi potrebbero aver bisogno di circa un giorno per recepire le modifiche a `robots.txt`. Non aspettarti un effetto immediato dopo aver salvato il file.
## Come appare su un sito attivo?
Nell’esempio descritto delle impostazioni di `robots.txt`, i nomi dei crawler degli assistenti—`GPTBot`, `ChatGPT-User`, `OAI-SearchBot`, `ClaudeBot`, `PerplexityBot`, `Perplexity-User`, `Google-Extended` e altri—sono raccolti in un unico gruppo. Sotto compaiono `Allow: /` e le stesse righe `Disallow:` per le aree riservate presenti nel gruppo generale `User-agent: *`: `/dashboard/`, `/admin/`, `/login`, `/account/`, `/order/` e altre. Gli URL della sitemap sono elencati alla fine del file tramite la direttiva `Sitemap:`.
Le restrizioni vengono ripetute nel gruppo dei crawler degli assistenti, così anche per loro le aree riservate sono bloccate. Puoi aprire il `/robots.txt` di qualsiasi sito e vedere come è configurato: il file è sempre pubblico.
## Cos’altro aiuta i crawler a comprendere un sito?
Punto chiave
Dopo aver configurato l’accesso, controlla se il testo della pagina è visibile senza eseguire gli script del browser, se esiste un file sitemap.xml e se la risposta stessa è chiara.
Anche quando la scansione è consentita, un crawler potrebbe non riuscire a ottenere il contenuto della pagina. Oltre alle regole di accesso, controlla come il sito fornisce il testo e aiuta le persone a trovare i suoi contenuti.
- **Il testo è disponibile subito.** Se gli script rendono il contenuto della pagina nel browser, alcuni crawler vedranno un guscio vuoto. Per verificare, apri la pagina, scegli «visualizza sorgente pagina» e cerca il tuo testo. Se non è presente e appare solo nella normale visualizzazione della pagina, devi esaminare come viene fornita la pagina.
- **È presente una sitemap.** Il file `sitemap.xml` è un elenco di tutte le tue pagine. Aiuta i crawler a non perdere contenuti. Aggiungi un link al file in `robots.txt` con una riga `Sitemap:`.
- **La risposta è chiara per una persona.** I crawler degli assistenti cercano pagine che rispondono a una domanda. Un’intestazione chiara, una risposta breve all’inizio e termini onesti funzionano meglio di un elenco di parole chiave.
## Perché un sito potrebbe essere invisibile all’IA?
Punto chiave
Ci sono tre cause da verificare: il crawler è bloccato in robots.txt, il testo è generato da script e non è visibile senza un browser oppure la sicurezza del sito blocca i crawler. Nel primo caso, controlla il file; nel secondo, verifica come vengono fornite le pagine; nel terzo, controlla le impostazioni di sicurezza.
Se il tuo sito non compare nelle risposte, verifica la presenza di queste possibili barriere all’accesso.
- **Il crawler è bloccato in `robots.txt`.** A volte il file contiene una restrizione generale che blocca i crawler che ti servono. Controlla se c’è un `Disallow: /` in un gruppo applicabile ai crawler degli assistenti.
- **Il testo non è visibile senza un browser.** Se gli script generano il contenuto, il crawler potrebbe non riuscire a ottenerlo. Il controllo del codice sorgente è descritto sopra.
- **La sicurezza del sito blocca i crawler.** Molti siti usano protezioni contro il traffico indesiderato, per esempio Cloudflare. Potrebbero bloccare l’accesso a prescindere da `robots.txt`. Con `robots.txt` controlli dove può andare un crawler, mentre la sicurezza del sito decide se lasciar passare la sua richiesta. Perplexity consiglia di autorizzare manualmente i crawler nelle impostazioni di sicurezza, in base ai nomi dei loro user-agent e agli indirizzi IP pubblicati. Imposta le regole di scansione tramite `robots.txt`: Anthropic avverte separatamente che bloccare i crawler solo in base all’indirizzo IP è inaffidabile. Se usi un servizio simile, controllane le impostazioni.
Verifica le cause una alla volta: inizia da `robots.txt`, poi guarda il codice sorgente della pagina e infine controlla le impostazioni di sicurezza. La sola assenza di queste barriere non garantisce che il tuo sito comparirà nelle risposte.
## Come puoi verificare se un crawler ha raggiunto la pagina?
Punto chiave
Non esiste un contatore diretto «sono stato citato». Ma puoi controllare gli aspetti fondamentali: se robots.txt si apre, se il testo è visibile nel codice sorgente e se la sitemap è disponibile. Le visite dei crawler sono visibili nei log del server tramite il loro user-agent.
Questa verifica aiuta a valutare l’accessibilità del tuo sito e a trovare tracce delle visite dei crawler.
- Apri `https://example.com/robots.txt` in un browser: il file dovrebbe aprirsi e contenere i gruppi necessari.
- Apri la sitemap all’indirizzo `https://example.com/sitemap.xml`: dovrebbe aprirsi ed elencare le pagine.
- Visualizza il codice sorgente di una pagina importante e cerca il tuo testo.
- Se hai accesso ai log del server, cercaci i nomi dei crawler, come `OAI-SearchBot`, `PerplexityBot` e altri. Le loro visite sono visibili tramite user-agent.
La verifica non mostrerà se l’assistente sceglierà proprio la tua pagina. Dipende dalla domanda dell’utente e da quanto bene la pagina vi risponde.
## Cosa non garantiscono le impostazioni
L’accesso al tuo sito e la sua comparsa nella risposta di un assistente sono risultati diversi. Queste impostazioni hanno dei limiti.
- **La citazione non è garantita.** L’accesso aperto dà solo al crawler l’opportunità di leggere il tuo sito. La decisione di citarti spetta all’assistente e dipende dalla domanda.
- **Nessuno promette posizionamenti o traffico.** L’impostazione di `robots.txt` apre l’accesso, ma non assicura un posto nei risultati di ricerca.
- **Alcuni crawler potrebbero ignorare le regole del file.** Vale per alcuni crawler che visitano il sito in risposta a una richiesta diretta dell’utente, per esempio `ChatGPT-User` di OpenAI e `Perplexity-User` di Perplexity.
- **Le regole cambiano.** Gli sviluppatori aggiornano i nomi dei crawler e le condizioni. Vale la pena controllare la documentazione ogni pochi mesi: i link sono alla fine.
Controlli l’accesso e la qualità del tuo sito, ma è l’assistente a decidere se includere un link. L’obiettivo di queste impostazioni è rendere una pagina utile disponibile per la ricerca e la lettura, senza cercare di «ingannare» l’assistente.
## E adesso?
Apri `robots.txt`, aggiungi i crawler di ricerca degli assistenti e controlla la sitemap e la disponibilità del testo. Se la sicurezza blocca l’accesso, controlla anche le relative impostazioni. Queste azioni aiutano a individuare e rimuovere le barriere tecniche. Poi controlla le pagine stesse: danno risposte chiare a domande specifiche del tuo pubblico?
### Fonti
- [OpenAI: panoramica dei crawler (OAI-SearchBot, GPTBot, ChatGPT-User)](https://platform.openai.com/docs/bots)
- [Anthropic: crawler di Claude e come controllare l’accesso](https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Perplexity: crawler e impostazioni di sicurezza del sito](https://docs.perplexity.ai/guides/bots)
- [Google: panoramica dei crawler e token Google-Extended](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
Continua a esplorare Ailoot su [ailoot.ai](https://ailoot.ai/).
## Domande frequenti
### Perché un gruppo con il nome del crawler può riaprire percorsi bloccati sotto User-agent: *?
Un crawler con un gruppo nominativo corrispondente usa quelle regole, senza ereditare quelle del gruppo generico. Ripeti le direttive Disallow necessarie per i percorsi riservati in ogni gruppo nominativo che autorizzi.
### Consentire un crawler di ricerca garantisce che un assistente citi la mia pagina?
No. Controlla robots.txt, testo nel sorgente della pagina, disponibilità della sitemap e log del server. Queste prove dimostrano accessibilità o visite, non che l’assistente selezionerà la pagina per una risposta.
## Ailoot · L’azienda e il suo portafoglio di progetti
Ailoot si basa su un’esperienza operativa consolidata, un’ampia base di clienti, un servizio stabile e un controllo costante dei KPI.
L’azienda e il suo portafoglio di progetti: milioni di clienti; vendite nell’ordine dei miliardi ogni mese.
Ailoot mette questa esperienza operativa al servizio dell’accesso API alle funzioni AI nei prodotti dei clienti, negli agenti, nelle applicazioni e nelle automazioni.