robots.txt 和网站地图

网站地图位于 /sitemap.xml 地址，每次请求时自动生成——磁盘上没有文件，也无需创建。只有访问级别为「所有人」的页面才会包含在其中；语言版本按照 Google 的要求列在同一条记录内。

robots.txt 通过 /robots.txt 地址打开：访客和搜索引擎爬虫会看到文本，而您会看到编辑器。这里的空字段是有意义的：表示「自动生成」，引擎会自行编写合理的文件并包含网站地图链接。

每个网站都有 robots.txt 版块，但不会显示在菜单中——这是正常的。

如果没成功

• robots.txt 的更改不可见。 如果服务器网站根目录下有真实的 robots.txt 文件，Web 服务器会返回它，请求不会到达引擎。需要删除该文件。
• 页面不在网站地图中。 检查访问级别：除「所有人」之外的内容都不会进入地图。带有扩展名的地址和信息器也不会进入。