我可以调用Google来检查robots.txt吗?


11

我已阅读此问题的答案,但它们仍然使我的问题处于待解决状态:Google是否缓存robots.txt?

我没有在Google网站站长工具中找到一种方法来调用我的robots.txt的重新下载。

由于某些错误,我的robots.txt被替换为:

User-agent: *
Disallow: /

现在,我所有的内容都从Google搜索结果中删除了。

显然,我有兴趣尽快对此进行更正。我已经替换了robots.txt,但是找不到让Google更新缓存版本的方法。

在此处输入图片说明


1
只是禁止在robots.txt中所有网页一般应足够的,从谷歌的结果中彻底删除它们,只要其他网站仍链接到他们。
Ilmari Karonen'4

嗯,这是一个棘手的问题。ZenCart URL似乎使robots.txt Web爬虫程序机器人感到困惑,在您不知道它之前,您已经阻止了不想被阻止的URL。我的经验是,最好不要使用robots.txt,而只需保持一个干净的网站即可。由于此robots.txt错误阻止了有效网址,我失去了许多网络排名位置。由于ZenCart使用动态URL,因此似乎会使robots.txt网络抓取工具感到困惑,从而导致阻止您不会被阻止的URL。不知道它是否与禁用ZenCart中的类别有关,然后将产品移出该类别a

Answers:


10

您不能让他们在需要时重新下载robots.txt。Google会重新爬网并在他们认为适合您的网站时使用新数据。他们倾向于定期对其进行爬网,所以我不希望它花很长时间才能找到您的更新文件,并且对页面进行重新爬网和重新索引。请记住,找到新的robots.txt文件后,可能需要一些时间才能重新抓取您的页面,甚至需要更多时间才能将它们重新出现在Google的搜索结果中。


1
据他们说,他们每天左右检查一次,但他们可能更频繁地检查繁忙的站点。请参阅webmasters.stackexchange.com/a/32949/17430
studgeek 2012年

1

www.satyabrata.com在6月16日启动新网站时遇到了同样的问题。

Disallow: /robots.txt中输入了,就像Oliver一样。Google网站站长工具中也有一条有关被阻止的网址的警告消息。

昨天,6月18日,问题解决了。我做了以下工作。我不确定哪一步有效。

  1. 健康->以Google身份获取:robots.txt和主页。然后,提交给索引。
  2. 设置->首选域:将网址显示为 www.satyabrata.com
  3. 优化->网站地图:添加了XML网站地图。

有关被阻止的URL的警告消息现在消失了,并且显示了一个新的robots.txt,该文件已在Google网站管理员工具中下载。

目前,我在Google中只有两个页面被索引,即主页和robots.txt。我在网站上有10页。我希望其余的很快会被索引。


0

我遇到了一个问题,将图像移至单独的CNAME服务器,并且在图像文件夹上放置了不允许的内容。我要弄清楚的方法是,在网站站长工具中检索到robots.txt,将网页作为Google工具读取。告诉我它已经检索并阅读了robots.txt之后,我将其提交。这打破了对扫描图像的三个月禁运,谷歌报告说它正在读取robots.txt文件,但并未更改其抓取方式以匹配为允许图像文件夹而更改的规则。在一周内,图像再次被索引。

也许值得尝试一下。众所周知Google偶尔会卡住并且无法重新读取文件。


他们在我发布大约6个小时后重新读取了文件。现在一切恢复正常。
Der Hochstapler,2012年

ew!然后回到正轨!
Fiasco Labs

我尝试要求网站管理员工具获取robots.txt,但它抱怨它被robots.txt :)拒绝了。因此,显然,如果您用robots.txt进行完整的阻止,则该技巧将无效。
studgeek

此处相同... robots.txt拒绝请求robots.txt!哈哈!
卡萨波

Whelp,如果您在根本上拒绝,那么我想您是SOL。在我的情况下,该子文件夹被拒绝了,因此通过提供的实际机制强制重读robots.txt。
Fiasco Labs


-1

在我的情况下,问题是我使用的是一个免费的DNS服务,名为fear.org。

(我的免费域以结束.us.to

一旦我过渡到TLD,它就会开始工作。


我看不到DNS或拥有免费站点与robots.txt有什么关系,也没有告诉Google重新获取它。
Stephen Ostermiller

@StephenOstermiller:我也看不到,但是事实是,这对我来说很有帮助。
Stefan Monov

它帮助Google检查了您的robots.txt?
斯蒂芬·奥斯特米勒

@StephenOstermiller:是的。
Stefan Monov
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.