robots.txt és oldaltérkép

Az oldaltérkép a /sitemap.xml címen található, és minden kérésnél automatikusan összeáll – nincs fájl a lemezen, és nem kell létrehozni. Csak a „Mindenki” hozzáférési szintű oldalak kerülnek bele; a nyelvi verziók egy bejegyzésen belül vannak felsorolva, ahogy a Google megköveteli.

A robots.txt a /robots.txt címen nyílik meg: a látogató és a keresőrobot a szöveget látja, Ön pedig a szerkesztőt. Az üres mező itt értelmes: azt jelenti, hogy „automatikusan gyűjtsd”, és a motor maga ír egy értelmes fájlt az oldaltérkép hivatkozásával.

A robots.txt szakasz minden webhelyen megtalálható, de a menüben nem jelenik meg – ez normális.

Ha nem sikerült

• A robots.txt módosításai nem láthatók. Ha a szerveren a webhely gyökérkönyvtárában van egy valódi robots.txt fájl, a webszerver azt adja vissza, és a kérés nem ér el a motorig. A fájlt törölni kell.
• Az oldal nincs az oldaltérképen. Ellenőrizze a hozzáférési szintet: minden, ami nem „Mindenki”, nem kerül az oldaltérképre. A kiterjesztéssel rendelkező címek és az informerek sem kerülnek bele.