robots.txt і карта сайту

Карта сайту лежить за адресою /sitemap.xml і збирається сама при кожному запиті — файлу на диску немає і створювати його не потрібно. До неї потрапляють лише сторінки з рівнем доступу «Всім»; мовні версії перелічуються всередині одного запису, як того вимагає Google.

robots.txt відкривається за адресою /robots.txt: відвідувач і пошуковий робот побачать текст, а ви — редактор. Порожнє поле тут осмислене: означає «збирай автоматично», і движок сам напише розумний файл з посиланням на карту сайту.

Розділ robots.txt є на кожному сайті, але в меню він не показується — це нормально.

Якщо не вийшло

• Зміни в robots.txt не видно. Якщо на сервері в корені сайту лежить справжній файл robots.txt, веб-сервер віддає його і до движка запит не доходить. Файл треба видалити.
• Сторінки немає в карті сайту. Перевірте рівень доступу: все, крім «Всім», до карти не потрапляє. Також не потрапляють адреси з розширенням та інформери.