Näin avaat sivustosi ChatGPT:n, Clauden ja Perplexityn hakuroboteille

Olet rakentanut verkkosivuston tai tuotteen, mutta kun joku kysyy ”suosittele palvelua tähän tehtävään”, ChatGPT, Claude ja Perplexity eivät mainitse sitä. Kannattaa tarkistaa, pystyykö avustaja lukemaan sivustoasi ja onko pääsy estetty.

Ei ole olemassa painiketta, jolla ”pääsisi mukaan tekoälyn vastaukseen”, eikä kukaan voi taata, että sivustoosi viitataan. ChatGPT:llä, Claudella ja Perplexityllä on erilliset hakurobotit hakua varten: voit sallia niiden pääsyn sivustollesi robots.txt-tiedoston kautta. Tarkista sitten, pääsevätkö ne käsiksi sivun tekstiin ja estääkö sivustosi tietoturva pääsyn.

Mitä ”näkyvyys tekoälylle” tarkoittaa?#

Kun joku kysyy ChatGPT:ltä tai Perplexityltä ”mistä voin lukea aiheesta X?” tai ”minkä palvelun valitsisin?”, avustaja hakee joskus verkosta ja lisää vastaukseen linkkejä sivuille. Jotta sivusi päätyisi ehdokkaiden joukkoon, avustajan hakurobotin on täytynyt lukea se ilman, että pääsyä on estetty.

Sivustoltasi kannattaa tarkistaa kolme asiaa:

• hakurobotti pääsee sivustolle: sitä ei estetä robots.txt-tiedostossa eivätkä tietoturvatoimet estä pääsyä;
• hakurobotti näkee sivun tekstin eikä vain tyhjää runkoa, jonka selain täyttää;
• sivu vastaa tiettyyn kysymykseen rehellisesti ja selkeästi sen sijaan, että korvaisi vastauksen avainsanalistalla.

Aloita pääsystä: jos hakurobotti ei pystynyt lukemaan sivua, se ei myöskään saa sen hyödyllistä tekstiä.

Miten hakurobotti eroaa koulutusrobotista?#

Pääsy kannattaa sallia tai estää erikseen kunkin robotin kohdalla. Yleinen päätös ”sallia tekoäly sivustolle” ei ota huomioon niiden tehtävien välisiä eroja.

• Hakurobotti mahdollistaa sivujesi näkymisen avustajan vastauksissa, kun käyttäjä esittää kysymyksen. Salli se, jos haluat sivustosi olevan käytettävissä hauissa.
• Koulutusrobotti kerää tekstiä, jota voidaan käyttää mallin tulevien versioiden kouluttamiseen. Sen salliminen on sinun päätettävissäsi; se ei suoraan vaikuta siihen, näytkö nykyisissä hakuvastauksissa.

OpenAI antaa dokumentaatiossaan esimerkin: voit sallia hakurobotin indeksoida sivustosi ja samalla estää koulutusrobotin, jotta sivustosi tekstiä ei käytetä koulutukseen. Nämä kaksi asetusta määritetään toisistaan riippumatta samassa tiedostossa.

Mitkä ovat ChatGPT:n, Clauden ja Perplexityn robottien nimet?#

Pääsyn määrittämistä varten tarvitset robottien tarkat nimet (user-agent), jotka määrität robots.txt-tiedostossa. Taulukossa luetellaan nimet ja käyttötarkoitukset kunkin kehittäjän virallisen dokumentaation mukaan syyskuussa 2026.

ChatGPT-User-, Claude-User- ja Perplexity-User-robotit vierailevat sivulla henkilön pyynnöstä keskustelun aikana, mutta kunkin kehittäjän pääsysäännöt ovat erilaiset. OpenAI kertoo, että robots.txt-säännöt eivät välttämättä koske ChatGPT-User-robottia. Perplexity kertoo, että Perplexity-User jättää säännöt yleensä huomiotta, koska käyttäjä käynnisti vierailun. Anthropic hallitsee Claude-User-robotin pääsyä robots.txt-tiedoston avulla: jos estät sen siellä, Claude ei hae sivuja käyttäjien pyyntöihin vastatessaan. Hakurobottien pääsy määritetään erikseen.

Google-Extended-tunnisteella ei ole omaa user-agent-riviä indeksoinnissa – se on vain robots.txt-tiedoston hallintatunniste. Se määrittää, voidaanko sisältöäsi käyttää Googlen generatiivisessa tekoälyssä, eikä se vaikuta tavalliseen Google-hakuun.

Jos haluat rakentaa selkeärakenteisen sivuston, jonka teksti on käytettävissä, mieti, miten tieto kannattaa järjestää.

Hakurobottien salliminen robots.txt-tiedostossa: vaihe vaiheelta#

robots.txt on tavallinen tekstitiedosto sivustosi juuressa, ja se löytyy osoitteesta kuten https://example.com/robots.txt. Robotit lukevat sen ennen indeksointia ja noudattavat sen ohjeita, lukuun ottamatta edellä kuvattuja käyttäjän pyynnöstä tehtäviä vierailuja.

1. Avaa nykyinen tiedostosi. Kirjoita sivustosi osoite selaimeen ja lisää perään /robots.txt. Katso, mitä tiedostossa jo on ja onko tarvitsemasi robotit vahingossa estetty Disallow: / -rivillä. Etsi myös rajoitettuja alueita koskevat Disallow:-rivit – tilisivut, maksusivut ja hallintaosio: tarvitset niitä seuraavassa vaiheessa.
2. Lisää ryhmä avustajien hakuroboteille. Jokaisessa ryhmässä määritetään robotin nimi ja pääsysäännöt. Salli indeksointi käyttämällä Allow: / -riviä. Robotti noudattaa sen ryhmän sääntöjä, jossa sen nimi mainitaan erikseen; se ei noudata yleisen User-agent: * -ryhmän sääntöjä. Rajoitukset, jotka esiintyvät vain User-agent: * -ryhmässä, eivät koske kyseistä robottia. Jos sivustollasi on rajoitettuja alueita, toista samat Disallow:-rivit jokaisessa uudessa ryhmässä. Muuten ne ovat kyseisen robotin käytettävissä.
3. Päätä erikseen koulutusroboteista. Jos et halua tekstin käytettävän koulutukseen, määritä GPTBot- ja ClaudeBot-roboteille Disallow: /. Tämä ei vaikuta näkyvyyteen hauissa.
4. Tallenna tiedosto sivustosi juureen ja tarkista, että se avautuu osoitteessa /robots.txt. Jos sinulla on aliverkkotunnuksia (esimerkiksi blog.example.com), jokainen niistä tarvitsee oman tiedoston – robotit lukevat kunkin aliverkkotunnuksen oman tiedoston.

Tarkista rajoitettuja alueita koskevat säännöt ennen esimerkin kopioimista. Jos jätät Disallow: /dashboard/ -rivin vain User-agent: * -ryhmään, se ei koske OAI-SearchBot-robottia, jolla on oma ryhmänsä. Luettele rajoitetut polut jokaisessa ryhmässä, jossa sallit robotin indeksoida sivustoa.

Alla olevassa esimerkissä avustajien hakurobotit sallitaan, mutta rajoitettu /dashboard/-alue estetään suoraan niiden ryhmissä; koulutusrobotit estetään kokonaan. Koulutusrobottien estäminen on valinnaista – päätös on sinun, ja sinun kannattaa korvata rajoitettujen polkujen luettelo omallasi.

# Salli avustajien hakurobotit mutta estä pääsy rajoitetuille alueille
User-agent: OAI-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: Claude-SearchBot
Allow: /
Disallow: /dashboard/

User-agent: PerplexityBot
Allow: /
Disallow: /dashboard/

# Estä koulutusrobotit (valinnainen)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Sivustokartta auttaa robotteja löytämään kaikki sivut
Sitemap: https://example.com/sitemap.xml

OpenAI ja Perplexity kertovat dokumentaatiossaan, että niiden järjestelmillä voi kestää noin päivän ottaa robots.txt-muutokset huomioon. Älä odota välitöntä vaikutusta tiedoston tallentamisen jälkeen.

Miltä tämä näyttää toimivalla sivustolla?#

Kuvatussa robots.txt-asetusesimerkissä avustajien robottien nimet – GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User, Google-Extended ja muut – on koottu yhteen ryhmään. Niiden alla ovat Allow: / ja samat rajoitettuja alueita koskevat Disallow:-rivit kuin yleisessä User-agent: * -ryhmässä: /dashboard/, /admin/, /login, /account/, /order/ ja muut. Sitemap-URL-osoitteet luetellaan tiedoston lopussa Sitemap:-direktiivin avulla.

Rajoitukset toistetaan avustajien robottiryhmässä, jotta rajoitetut alueet estetään myös niiltä. Voit avata minkä tahansa sivuston /robots.txt-tiedoston ja nähdä sen asetukset – tiedosto on aina julkinen.

Mikä muu auttaa robotteja ymmärtämään sivustoa?#

Vaikka indeksointi olisi sallittu, robotti ei välttämättä saa sivun sisältöä. Pääsysääntöjen lisäksi tarkista, miten sivusto toimittaa tekstin ja auttaa ihmisiä löytämään sen sisällön.

• Teksti on saatavilla heti. Jos komentosarjat luovat sivun sisällön selaimessa, jotkin robotit näkevät vain tyhjän rungon. Avaa sivu, valitse ”näytä sivun lähdekoodi” ja etsi tekstiäsi. Jos tekstiä ei löydy sieltä ja se näkyy vain tavallisessa sivunäkymässä, sinun on selvitettävä, miten sivu toimitetaan.
• Sivustolla on sivustokartta. sitemap.xml-tiedosto sisältää luettelon kaikista sivuistasi. Se auttaa robotteja löytämään sisällön. Lisää siihen linkki robots.txt-tiedostoon Sitemap:-rivillä.
• Vastaus on ihmiselle selkeä. Avustajien robotit etsivät sivuja, jotka vastaavat kysymykseen. Selkeä otsikko, lyhyt vastaus heti alussa ja rehellinen sanamuoto toimivat paremmin kuin avainsanaluettelo.

Miksi sivusto ei ehkä näy tekoälylle?#

Jos sivustosi ei näy vastauksissa, tarkista nämä mahdolliset pääsyn esteet.

• Robotti on estetty robots.txt-tiedostossa. Tiedostossa voi joskus olla yleinen rajoitus, joka estää tarvitsemasi robotit. Tarkista, onko avustajien robotteja koskevassa ryhmässä Disallow: / -rivi.
• Teksti ei näy ilman selainta. Jos komentosarjat luovat sisällön, robotti ei ehkä saa sitä. Lähdekoodin tarkistus kuvattiin edellä.
• Sivuston tietoturva estää robotit. Monet sivustot käyttävät suojausta ei-toivottua liikennettä vastaan – esimerkiksi Cloudflarea. Se voi estää pääsyn robots.txt-tiedostosta riippumatta. robots.txt-tiedoston avulla hallitset, minne robotti saa mennä, kun taas sivuston tietoturva ratkaisee, pääseekö sen pyyntö läpi. Perplexity suosittelee sallimaan robotit manuaalisesti tietoturva-asetuksissa niiden user-agent-nimien ja julkaistujen IP-osoitteiden perusteella. Määritä indeksointisäännöt robots.txt-tiedoston avulla: Anthropic varoittaa erikseen, että robottien estäminen pelkän IP-osoitteen perusteella ei ole luotettavaa. Jos käytät vastaavaa palvelua, tarkista sen asetukset.

Tarkista syyt yksi kerrallaan: aloita robots.txt-tiedostosta, katso sitten sivun lähdekoodi ja tarkista lopuksi tietoturva-asetukset. Se, ettei näitä esteitä ole, ei itsessään takaa, että sivustosi näkyy vastauksissa.

Miten voit tarkistaa, onko robotti käynyt sivulla?#

Tämä tarkistus auttaa arvioimaan sivustosi saavutettavuutta ja löytämään tiedot robottien vierailuista.

• Avaa https://example.com/robots.txt selaimessa – tiedoston pitäisi avautua ja sisältää tarvittavat ryhmät.
• Avaa sivustokartta osoitteessa https://example.com/sitemap.xml – sen pitäisi avautua ja luetella sivut.
• Näytä tärkeän sivun lähdekoodi ja etsi sieltä tekstiäsi.
• Jos sinulla on pääsy palvelinlokeihin, etsi niistä robottien nimiä – OAI-SearchBot, PerplexityBot ja muita. Niiden vierailut näkyvät user-agent-tiedoissa.

Tarkistus ei kerro, valitseeko avustaja juuri sinun sivusi. Se riippuu käyttäjän kysymyksestä ja siitä, miten hyvin sivu vastaa siihen.

Mitä asetukset eivät takaa#

Pääsy sivustollesi ja sen näkyminen avustajan vastauksessa ovat eri asioita. Näihin asetuksiin liittyy rajoituksia.

• Viittauksia ei taata. Avoin pääsy antaa robotille vain mahdollisuuden lukea sivustoasi. Avustaja päättää itse kysymyksen perusteella, viittaako se sivustoosi.
• Sijoituksia tai liikennettä ei luvata. robots.txt-asetus avaa pääsyn mutta ei takaa paikkaa hakutuloksissa.
• Jotkin robotit voivat sivuuttaa tiedoston säännöt. Tämä koskee joitakin robotteja, jotka vierailevat suoran käyttäjäpyynnön seurauksena – esimerkiksi OpenAI:n ChatGPT-User-robottia ja Perplexityn Perplexity-User-robottia.
• Säännöt muuttuvat. Kehittäjät päivittävät robottien nimiä ja ehtoja. Dokumentaatio kannattaa tarkistaa muutaman kuukauden välein; linkit ovat lopussa.

Sinä hallitset pääsyä ja sivustosi laatua, mutta avustaja päättää, sisällyttääkö se linkin. Näiden asetusten tarkoitus on tehdä hyödyllisestä sivusta löydettävä ja luettava yrittämättä ”huijata” avustajaa.

Mitä seuraavaksi#

Avaa robots.txt, lisää avustajien hakurobotit ja tarkista sivustokartta sekä tekstin saatavuus. Jos tietoturva estää pääsyn, tarkista myös sen asetukset. Näiden toimien avulla voit tunnistaa ja poistaa teknisiä esteitä. Tarkista sitten itse sivut: vastaavatko ne yleisösi tiettyihin kysymyksiin selkeästi?