robots.txt 和网站地图

网站地图 位于地址 /sitemap.xml 并在每次请求时自动生成——磁盘上没有文件，也无需创建。只有访问级别为“所有人”的页面才会包含在内；语言版本按照 Google 的要求列在同一条记录中。某个语言下隐藏的版块（“网站语言”选项卡中的“按语言划分的版块和信息器”）不会出现在该语言的地图中。

robots.txt 可通过地址访问 /robots.txt：访客和搜索引擎机器人会看到文本，而您看到的是编辑器。同一文本也可在版块窗口中通过“模块设置”按钮编辑，字段 “robots.txt 内容”。此处留空是有意义的：表示“自动生成”，引擎会自动编写一个合理的文件，其中包含网站地图的链接。

每个网站都有 robots.txt 版块，但它不会显示在菜单中——这是正常的。

如果未能成功

• robots.txt 的更改不可见。 如果服务器上网站根目录中存在真实的文件 robots.txt，Web 服务器会直接提供该文件，请求不会到达引擎。需要删除该文件。
• 页面不在网站地图中。 请检查访问级别：除“所有人”之外的任何级别都不会包含在地图中。带有扩展名的地址和信息器也不会包含在内。