robots.txt och webbplatskarta

Webbplatskartan finns på adressen /sitemap.xml och genereras automatiskt vid varje förfrågan — det finns ingen fil på disken och du behöver inte skapa den. Endast sidor med åtkomstnivån «Alla» ingår; språkversioner listas inom en post, som Google kräver.

robots.txt öppnas på adressen /robots.txt: besökare och sökmotorrobotar ser texten, medan du ser en redigerare. Ett tomt fält här är meningsfullt: det betyder «samla automatiskt», och motorn skriver själv en lämplig fil med en länk till webbplatskartan.

Sektionen robots.txt finns på varje webbplats, men visas inte i menyn — det är normalt.

Om det inte fungerade

• Ändringar i robots.txt syns inte. Om en riktig fil robots.txt ligger i webbplatsens rot på servern, levererar webbservern den och förfrågan når inte motorn. Filen måste tas bort.
• Sidan finns inte i webbplatskartan. Kontrollera åtkomstnivån: allt utom «Alla» hamnar inte i kartan. Inte heller adresser med filändelse och informers ingår.