robots.txt en sitemap

De sitemap staat op het adres /sitemap.xml en wordt bij elk verzoek automatisch samengesteld — er is geen bestand op schijf en je hoeft het niet aan te maken. Alleen pagina's met toegangsniveau «Iedereen» komen erin; taalversies worden binnen één vermelding opgesomd, zoals Google vereist.

robots.txt wordt geopend op het adres /robots.txt: een bezoeker en een zoekrobot zien de tekst, en jij ziet een editor. Een leeg veld hier is zinvol: het betekent «verzamel automatisch», en de engine schrijft zelf een verstandig bestand met een link naar de sitemap.

De sectie robots.txt bestaat op elke site, maar wordt niet in het menu getoond — dat is normaal.

Als het niet lukte

• Wijzigingen in robots.txt zijn niet zichtbaar. Als er op de server in de root van de site een echt bestand robots.txt staat, geeft de webserver dat door en bereikt het verzoek de engine niet. Het bestand moet worden verwijderd.
• De pagina staat niet in de sitemap. Controleer het toegangsniveau: alles behalve «Iedereen» komt niet in de sitemap. Ook adressen met een extensie en informers komen er niet in.