robots.txt ir svetainės žemėlapis

Svetainės žemėlapis yra adresu /sitemap.xml ir surenkamas automatiškai kiekvieno užklausimo metu – failo diske nėra ir jo kurti nereikia. Į jį patenka tik puslapiai su prieigos lygiu „Visiems“; kalbų versijos išvardijamos viename įraše, kaip reikalauja Google.

robots.txt atidaromas adresu /robots.txt: lankytojas ir paieškos robotas matys tekstą, o jūs – redaktorių. Tuščias laukas čia prasmingas: reiškia „rink automatiškai“, ir variklis pats parašys protingą failą su nuoroda į svetainės žemėlapį.

robots.txt skyrius yra kiekvienoje svetainėje, bet meniu jis nerodomas – tai normalu.

Jei nepavyko

• robots.txt pakeitimai nematomi. Jei serverio svetainės šaknyje yra tikras failas robots.txt, žiniatinklio serveris jį atiduoda ir užklausa nepasiekia variklio. Failą reikia ištrinti.
• Puslapio nėra svetainės žemėlapyje. Patikrinkite prieigos lygį: viskas, išskyrus „Visiems“, į žemėlapį nepatenka. Taip pat nepatenka adresai su plėtiniu ir informeriai.