robots.txt og sitemap

Sitemap ligger på adressen /sitemap.xml og genereres automatisk ved hver anmodning — der er ingen fil på disken, og du behøver ikke oprette den. Kun sider med adgangsniveauet «Alle» kommer med; sprogversioner vises inden for én post, som Google kræver.

robots.txt åbnes på adressen /robots.txt: besøgende og søgerobotter ser teksten, mens du ser editoren. Et tomt felt her er meningsfuldt: det betyder «generer automatisk», og motoren skriver selv en fornuftig fil med et link til sitemap.

Sektionen robots.txt findes på hvert websted, men vises ikke i menuen — det er normalt.

Hvis det ikke lykkedes

• Ændringer i robots.txt er ikke synlige. Hvis der på serveren i webstedets rod ligger en rigtig fil robots.txt, leverer webserveren den, og anmodningen når ikke motoren. Filen skal slettes.
• Siden er ikke i sitemap. Kontroller adgangsniveauet: alt undtagen «Alle» kommer ikke med i sitemap. Adresser med filtypenavn og informere kommer heller ikke med.