robots.txt ja sivustokartta

Sivustokartta sijaitsee osoitteessa /sitemap.xml ja kootaan automaattisesti joka pyynnöllä — tiedostoa ei ole levyllä eikä sitä tarvitse luoda. Siihen päätyvät vain sivut, joiden käyttöoikeustaso on «Kaikille»; kieliversiot luetellaan yhden merkinnän sisällä, kuten Google vaatii.

robots.txt avautuu osoitteessa /robots.txt: kävijä ja hakurobotti näkevät tekstin, sinä näet editorin. Tyhjä kenttä tässä on järkevä: se tarkoittaa «kokoa automaattisesti», ja moottori kirjoittaa itse järkevän tiedoston, jossa on linkki sivustokarttaan.

robots.txt-osio on jokaisella sivustolla, mutta sitä ei näytetä valikossa — se on normaalia.

Jos ei onnistunut

• robots.txt-muutokset eivät näy. Jos palvelimella sivuston juuressa on oikea tiedosto robots.txt, verkkopalvelin tarjoaa sen eikä pyyntö saavuta moottoria. Tiedosto on poistettava.
• Sivua ei ole sivustokartassa. Tarkista käyttöoikeustaso: kaikki muu paitsi «Kaikille» ei päädy karttaan. Myöskään osoitteet, joissa on tiedostopääte, ja infolohkot eivät päädy.