robots.txt en sitemap

De sitemap staat op het adres /sitemap.xml en wordt bij elk verzoek automatisch samengesteld — er staat geen bestand op schijf en je hoeft er ook geen aan te maken. Alleen pagina's met toegangsniveau «Iedereen» komen erin; taalversies worden binnen één vermelding opgesomd, zoals Google dat vereist. Een sectie die in een bepaalde taal is verborgen («Secties en informers per taal» op het tabblad «Talen van de site») komt voor die taal niet in de sitemap.

robots.txt opent op het adres /robots.txt: bezoekers en zoekrobots zien de tekst, en jij ziet een editor. Dezelfde tekst pas je ook aan in het venster van de sectie, via de knop «Module-instellingen», veld «Inhoud van robots.txt». Een leeg veld heeft hier een betekenis: het betekent «automatisch samenstellen», en de engine schrijft zelf een verstandig bestand met een verwijzing naar de sitemap.

De sectie robots.txt bestaat op elke site, maar wordt niet in het menu getoond — dat is normaal.

Als het niet lukt

• Wijzigingen in robots.txt zijn niet zichtbaar. Als er op de server in de root van de site een echt bestand robots.txt staat, levert de webserver dat uit en bereikt het verzoek de engine niet. Dat bestand moet worden verwijderd.
• De pagina staat niet in de sitemap. Controleer het toegangsniveau: alles behalve «Iedereen» komt niet in de sitemap. Adressen met een extensie en informers komen er ook niet in.