robots.txt и мапа сајта

Мапа сајта се налази на адреси /sitemap.xml и саставља се сама при сваком захтеву — датотеке на диску нема и не треба је креирати. У њу улазе само странице са нивоом приступа „Свима“; језичке верзије се наводе унутар једног записа, како то Google захтева.

robots.txt се отвара на адреси /robots.txt: посетилац и претраживачки робот ће видети текст, а ви — уређивач. Празно поље овде има смисла: значи „састављај аутоматски“, и мотор ће сам написати разумну датотеку са линком ка мапи сајта.

Одељак robots.txt постоји на сваком сајту, али се не приказује у менију — то је нормално.

Ако није успело

• Промене у robots.txt нису видљиве. Ако на серверу у корену сајта постоји права датотека robots.txt, веб-сервер је испоручује и захтев не стиже до мотора. Датотеку треба обрисати.
• Странице нема у мапи сајта. Проверите ниво приступа: све осим „Свима“ не улази у мапу. Такође не улазе адресе са екстензијом и информери.