robots.txt ומפת אתר

מפת האתר נמצאת בכתובת /sitemap.xml ונבנית מעצמה בכל בקשה — אין קובץ בדיסק ואין צורך ליצור אותו. רק דפים עם רמת גישה «לכולם» נכנסים אליה; גרסאות שפה מפורטות בתוך רשומה אחת, כפי שגוגל דורשת.

robots.txt נפתח בכתובת /robots.txt: המבקר וזחלן החיפוש יראו טקסט, ואתה — עורך. שדה ריק כאן הגיוני: פירושו «אסוף אוטומטית», והמנוע עצמו יכתוב קובץ סביר עם קישור למפת האתר.

מדור robots.txt קיים בכל אתר, אך אינו מוצג בתפריט — זה תקין.

אם לא הצליח

• שינויים ב-robots.txt לא נראים. אם בשרת, בשורש האתר, נמצא קובץ אמיתי robots.txt, שרת האינטרנט מגיש אותו והבקשה לא מגיעה למנוע. יש למחוק את הקובץ.
• הדף לא במפת האתר. בדוק את רמת הגישה: כל מה שאינו «לכולם» לא נכנס למפה. גם כתובות עם סיומת ואינפורמרים לא נכנסים.