robots.txt a mapa webu

Mapa webu je na adrese /sitemap.xml a sestavuje se sama při každém požadavku — soubor na disku neexistuje a není třeba ho vytvářet. Zahrnuty jsou pouze stránky s úrovní přístupu „Všem“; jazykové verze se uvádějí v rámci jednoho záznamu, jak vyžaduje Google.

robots.txt se otevírá na adrese /robots.txt: návštěvník a vyhledávací robot uvidí text, vy zase editor. Prázdné pole zde má smysl: znamená „sestav automaticky“, a engine sám napíše rozumný soubor s odkazem na mapu webu.

Sekce robots.txt je na každém webu, ale v menu se nezobrazuje — to je normální.

Pokud se to nepovedlo

• Změny v robots.txt nejsou vidět. Pokud na serveru v kořeni webu leží skutečný soubor robots.txt, webový server ho vydá a požadavek se k enginu nedostane. Soubor je třeba odstranit.
• Stránka není v mapě webu. Zkontrolujte úroveň přístupu: vše kromě „Všem“ se do mapy nezahrnuje. Rovněž se nezahrnují adresy s příponou a informery.