robots.txt i karta stranice

Karta stranice nalazi se na adresi /sitemap.xml i sama se sastavlja pri svakom zahtjevu — datoteke na disku nema i ne treba je stvarati. U nju ulaze samo stranice s razinom pristupa «Svima»; jezične verzije navode se unutar jednog zapisa, kako to zahtijeva Google.

robots.txt otvara se na adresi /robots.txt: posjetitelj i tražilica vidjet će tekst, a vi — uređivač. Prazno polje ovdje ima smisla: znači «sastavljaj automatski», i motor će sam napisati razumnu datoteku s poveznicom na kartu stranice.

Odjeljak robots.txt postoji na svakoj stranici, ali u izborniku se ne prikazuje — to je normalno.

Ako nije uspjelo

• Promjene u robots.txt nisu vidljive. Ako na poslužitelju u korijenu stranice leži prava datoteka robots.txt, web-poslužitelj je poslužuje i zahtjev ne dolazi do motora. Datoteku treba obrisati.
• Stranice nema na karti stranice. Provjerite razinu pristupa: sve osim «Svima» ne ulazi u kartu. Također ne ulaze adrese s nastavkom i informeri.