robots.txt a mapa stránok

Mapa stránok sa nachádza na adrese /sitemap.xml a zostavuje sa sama pri každej požiadavke — súbor na disku neexistuje a netreba ho vytvárať. Zahrnuté sú len stránky s úrovňou prístupu „Všetkým“; jazykové verzie sa uvádzajú v rámci jedného záznamu, ako to vyžaduje Google.

robots.txt sa otvára na adrese /robots.txt: návštevník a vyhľadávací robot uvidia text, a vy — editor. Prázdne pole tu má zmysel: znamená „zostavuj automaticky“, a engine sám napíše rozumný súbor s odkazom na mapu stránok.

Sekcia robots.txt je na každej stránke, ale v menu sa nezobrazuje — to je normálne.

Ak sa nepodarilo

• Zmeny v robots.txt nie sú viditeľné. Ak na serveri v koreni stránky leží skutočný súbor robots.txt, webový server ho poskytuje a požiadavka sa k engine nedostane. Súbor treba odstrániť.
• Stránka nie je v mape stránok. Skontrolujte úroveň prístupu: všetko okrem „Všetkým“ sa do mapy nedostane. Tiež sa tam nedostanú adresy s príponou a informéry.