robots.txt и карта на сайта

Картата на сайта се намира на адрес /sitemap.xml и се създава сама при всяка заявка — файл на диска няма и не е нужно да го създавате. В нея попадат само страници с ниво на достъп „Всички“; езиковите версии се изброяват в един запис, както изисква Google.

robots.txt се отваря на адрес /robots.txt: посетителят и търсачката ще видят текста, а вие — редактора. Празното поле тук е смислено: означава „събирай автоматично“, и системата сама ще напише разумен файл с връзка към картата на сайта.

Разделът robots.txt съществува на всеки сайт, но не се показва в менюто — това е нормално.

Ако не се получи

• Промените в robots.txt не се виждат. Ако на сървъра в корена на сайта има истински файл robots.txt, уеб сървърът го връща и заявката не стига до системата. Файлът трябва да се изтрие.
• Страницата не е в картата на сайта. Проверете нивото на достъп: всичко освен „Всички“ не попада в картата. Също не попадат адреси с разширение и информери.