robots.txt dan peta situs

Peta situs terletak di alamat /sitemap.xml dan dibuat otomatis pada setiap permintaan — tidak ada file di disk dan tidak perlu membuatnya. Hanya halaman dengan tingkat akses «Semua» yang masuk ke dalamnya; versi bahasa dicantumkan dalam satu entri, seperti yang diminta Google.

robots.txt dibuka di alamat /robots.txt: pengunjung dan robot pencari akan melihat teks, dan Anda — editor. Bidang kosong di sini bermakna: berarti «kumpulkan otomatis», dan mesin akan menulis file yang wajar dengan tautan ke peta situs.

Bagian robots.txt ada di setiap situs, tetapi tidak ditampilkan di menu — itu normal.

Jika tidak berhasil

• Perubahan di robots.txt tidak terlihat. Jika di server di root situs ada file robots.txt asli, web server menyajikannya dan permintaan tidak sampai ke mesin. File harus dihapus.
• Halaman tidak ada di peta situs. Periksa tingkat akses: semua kecuali «Semua» tidak masuk ke peta. Alamat dengan ekstensi dan informer juga tidak masuk.