用于WordPress多站点安装的robots.txt存储在哪里？

9

Google网站管理员工具可以看到它，但找不到。关于如何生成文件或文件结构在哪里的任何想法？我在根目录中看不到该文件。我的网站是http： //mikewills.me，robots.txt文件的URL是http://mikewills.me/robots.txt。

最后，Google并未为我的网站建立索引，而我试图找出如何编辑robots.txt以便允许建立索引。我更改了“隐私”选项以允许建立索引，但是尚未更新robots.txt。

multisite

— 迈克·威尔斯
source

网站链接？robots.txt不太可能与WP ...

— Rarst

11

它是由函数动态生成的，该函数do_robots()同时具有动作（do_robotstxt）和过滤器（robots_txt）。如果您robots.txt在WordPress根目录中创建文件，则该文件（可能）将在/robots.txt请求时提供，否则处理将落在WordPress上。

您当前的文件如下所示：

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

前两个设置适用于可索引的博客。因此，此时您可能正在等待Google。也许您需要请求重新审核您的网站。

— 安妮卡·贝克斯特伦（Annika Backstrom）
source

谢谢你提供的详情。我当时处于这种假设之下。我很害怕看到Disallow。那可以吗？

— Mike Wills 2010年

2

@Mike：是的，可以。您现在说的是：“嘿，User-agent匹配的机器人*（因此是所有机器人），您无法访问的页面列表是[empty]。” 这意味着他们可以访问所有页面。

— Jan Fabry

将robots.txt添加到根目录似乎不起作用，它仍然可以使用WordPress生成的服务。如果不安装插件，是否无法添加或修改robots.txt？

— 尼克，

3

robots.txt是动态创建的。没有robots.txt文件。安装robot.txt插件即可解决您的问题。希望这可以帮助

— 用户1167
source