robots.txt ומפת אתר

מפת האתר נמצאת בכתובת /sitemap.xml והיא נבנית מחדש בכל בקשה — אין קובץ בדיסק ואין צורך ליצור אותו. רק דפים עם רמת גישה "כולם" נכללים בה; גרסאות שפה מופיעות בתוך רשומה אחת, כפי שגוגל דורש. מדור המוסתר בשפה מסוימת ("מדורים ואינפורמרים לפי שפות" בכרטיסייה "שפות האתר") לא ייכלל במפה עבור אותה שפה.

robots.txt נפתח בכתובת /robots.txt: המבקר וזחלן מנוע החיפוש יראו את הטקסט, ואתם — את העורך. אותו טקסט נערך גם בחלון המדור, בלחיצה על "הגדרות המודול", בשדה "תוכן robots.txt". שדה ריק כאן הגיוני: פירושו "בנה אוטומטית", והמנוע עצמו יכתוב קובץ סביר עם קישור למפת האתר.

המדור robots.txt קיים בכל אתר, אך אינו מוצג בתפריט — זה תקין.

אם לא הצליח

• שינויים ב-robots.txt אינם נראים. אם בשרת, בשורש האתר, נמצא קובץ אמיתי robots.txt, שרת האינטרנט מגיש אותו והבקשה לא מגיעה למנוע. יש למחוק את הקובץ.
• הדף אינו במפת האתר. בדקו את רמת הגישה: כל דבר מלבד "כולם" אינו נכלל במפה. גם כתובות עם סיומת ואינפורמרים אינם נכללים.