robots.txt og nettstedskart

Nettstedskartet ligger på adressen /sitemap.xml og bygges automatisk ved hver forespørsel — filen finnes ikke på disken og trenger ikke opprettes. Bare sider med tilgangsnivå «Alle» kommer med; språkversjoner listes opp i én oppføring, slik Google krever.

robots.txt åpnes på adressen /robots.txt: besøkende og søkeroboter ser teksten, mens du ser redigeringsverktøyet. Et tomt felt her er meningsfullt: det betyr «bygg automatisk», og motoren skriver selv en fornuftig fil med lenke til nettstedskartet.

Seksjonen robots.txt finnes på hvert nettsted, men vises ikke i menyen — det er normalt.

Hvis det ikke gikk

• Endringer i robots.txt vises ikke. Hvis det ligger en ekte fil robots.txt i nettstedets rot på serveren, leverer webserveren den og forespørselen når ikke motoren. Filen må slettes.
• Siden er ikke i nettstedskartet. Sjekk tilgangsnivået: alt annet enn «Alle» kommer ikke med i kartet. Adresser med filendelse og informasjonsblokker kommer heller ikke med.