robots.txt ja sivustokartta

Sivustokartta sijaitsee osoitteessa /sitemap.xml ja se kootaan automaattisesti jokaisella pyynnöllä — tiedostoa ei ole levyllä eikä sitä tarvitse luoda. Siihen sisältyvät vain sivut, joiden käyttöoikeustaso on «Kaikille»; kieliversiot luetellaan yhden merkinnän sisällä Googlen edellyttämällä tavalla. Osio, joka on piilotettu jollakin kielellä («Osiot ja infolohkot kielittäin» sivuston kielten välilehdellä), ei sisälly kyseisen kielen sivustokarttaan.

robots.txt avautuu osoitteessa /robots.txt: kävijä ja hakurobotti näkevät tekstin, ja sinä näet editorin. Samaa tekstiä muokataan myös osion ikkunassa painikkeella «Moduulin asetukset», kentässä «robots.txt-tiedoston sisältö». Tyhjä kenttä on tässä merkityksellinen: se tarkoittaa «kokoa automaattisesti», ja moottori kirjoittaa itse järkevän tiedoston, jossa on linkki sivustokarttaan.

robots.txt-osio on jokaisella sivustolla, mutta sitä ei näytetä valikossa — se on normaalia.

Jos ei onnistunut

• robots.txt-tiedoston muutokset eivät näy. Jos palvelimella sivuston juuressa on varsinainen tiedosto robots.txt, verkkopalvelin tarjoaa sen eikä pyyntö saavuta moottoria. Tiedosto on poistettava.
• Sivu ei ole sivustokartassa. Tarkista käyttöoikeustaso: kaikki muu paitsi «Kaikille» ei sisälly karttaan. Myöskään osoitteet, joissa on tiedostopääte, eivätkä infolohkot sisälly.