robots.txt và sơ đồ trang web

Sơ đồ trang web nằm tại địa chỉ /sitemap.xml và tự động được tạo mỗi khi có yêu cầu — không có tệp trên đĩa và không cần tạo. Chỉ những trang có mức truy cập «Mọi người» mới được đưa vào; các phiên bản ngôn ngữ được liệt kê trong một mục, như Google yêu cầu.

robots.txt mở tại địa chỉ /robots.txt: khách truy cập và bot tìm kiếm sẽ thấy văn bản, còn bạn — trình chỉnh sửa. Trường trống ở đây có ý nghĩa: nghĩa là «tự động thu thập», và công cụ sẽ tự viết tệp hợp lý với liên kết đến sơ đồ trang web.

Phần robots.txt có trên mọi trang web, nhưng không hiển thị trong menu — điều này là bình thường.

Nếu không thành công

• Thay đổi trong robots.txt không hiển thị. Nếu trên máy chủ, ở thư mục gốc của trang web có tệp robots.txt thật, máy chủ web sẽ trả về nó và yêu cầu không đến được công cụ. Cần xóa tệp.
• Trang không có trong sơ đồ trang web. Kiểm tra mức truy cập: mọi thứ ngoài «Mọi người» đều không được đưa vào sơ đồ. Các địa chỉ có phần mở rộng và thông tin cũng không được đưa vào.