robots.txt และแผนผังเว็บไซต์

แผนผังเว็บไซต์ อยู่ที่ /sitemap.xml และสร้างอัตโนมัติทุกครั้งที่มีการร้องขอ — ไม่มีไฟล์บนดิสก์และไม่ต้องสร้าง จะรวมเฉพาะหน้าที่มีระดับการเข้าถึง «ทุกคน» เท่านั้น; เวอร์ชันภาษาจะแสดงในรายการเดียวตามที่ Google กำหนด

robots.txt เปิดที่ /robots.txt: ผู้เยี่ยมชมและบอทจะเห็นข้อความ ส่วนคุณจะเห็นตัวแก้ไข ฟิลด์ว่างที่นี่มีความหมาย: หมายถึง «สร้างอัตโนมัติ» และระบบจะเขียนไฟล์ที่เหมาะสมพร้อมลิงก์ไปยังแผนผังเว็บไซต์

ส่วน robots.txt มีในทุกเว็บไซต์ แต่ไม่แสดงในเมนู — เป็นเรื่องปกติ

หากทำไม่สำเร็จ

• การเปลี่ยนแปลงใน robots.txt ไม่ปรากฏ. หากบนเซิร์ฟเวอร์ที่รากของเว็บไซต์มีไฟล์ robots.txt จริง เว็บเซิร์ฟเวอร์จะส่งไฟล์นั้นและคำขอไม่ถึงระบบ ต้องลบไฟล์นั้น
• หน้าไม่มีในแผนผังเว็บไซต์. ตรวจสอบระดับการเข้าถึง: ทุกอย่างยกเว้น «ทุกคน» จะไม่ถูกรวม ที่อยู่ที่มีนามสกุลและอินฟอร์เมอร์ก็ไม่ถูกรวมเช่นกัน