我已阅读此问题的答案,但它们仍然使我的问题处于待解决状态:Google是否缓存robots.txt?
我没有在Google网站站长工具中找到一种方法来调用我的robots.txt的重新下载。
由于某些错误,我的robots.txt被替换为:
User-agent: *
Disallow: /
现在,我所有的内容都从Google搜索结果中删除了。
显然,我有兴趣尽快对此进行更正。我已经替换了robots.txt,但是找不到让Google更新缓存版本的方法。
我已阅读此问题的答案,但它们仍然使我的问题处于待解决状态:Google是否缓存robots.txt?
我没有在Google网站站长工具中找到一种方法来调用我的robots.txt的重新下载。
由于某些错误,我的robots.txt被替换为:
User-agent: *
Disallow: /
现在,我所有的内容都从Google搜索结果中删除了。
显然,我有兴趣尽快对此进行更正。我已经替换了robots.txt,但是找不到让Google更新缓存版本的方法。
Answers:
您不能让他们在需要时重新下载robots.txt。Google会重新爬网并在他们认为适合您的网站时使用新数据。他们倾向于定期对其进行爬网,所以我不希望它花很长时间才能找到您的更新文件,并且对页面进行重新爬网和重新索引。请记住,找到新的robots.txt文件后,可能需要一些时间才能重新抓取您的页面,甚至需要更多时间才能将它们重新出现在Google的搜索结果中。
我www.satyabrata.com
在6月16日启动新网站时遇到了同样的问题。
我Disallow: /
在robots.txt中输入了,就像Oliver一样。Google网站站长工具中也有一条有关被阻止的网址的警告消息。
昨天,6月18日,问题解决了。我做了以下工作。我不确定哪一步有效。
www.satyabrata.com
有关被阻止的URL的警告消息现在消失了,并且显示了一个新的robots.txt,该文件已在Google网站管理员工具中下载。
目前,我在Google中只有两个页面被索引,即主页和robots.txt。我在网站上有10页。我希望其余的很快会被索引。
我遇到了一个问题,将图像移至单独的CNAME服务器,并且在图像文件夹上放置了不允许的内容。我要弄清楚的方法是,在网站站长工具中检索到robots.txt,将网页作为Google工具读取。告诉我它已经检索并阅读了robots.txt之后,我将其提交。这打破了对扫描图像的三个月禁运,谷歌报告说它正在读取robots.txt文件,但并未更改其抓取方式以匹配为允许图像文件夹而更改的规则。在一周内,图像再次被索引。
也许值得尝试一下。众所周知Google偶尔会卡住并且无法重新读取文件。
我希望此链接可以帮助您抓取您的网站:https : //support.google.com/adsense/answer/10532?hl=zh_CN。
/
从robots.txt文件中删除。
在我的情况下,问题是我使用的是一个免费的DNS服务,名为fear.org。
(我的免费域以结束.us.to
)
一旦我过渡到TLD,它就会开始工作。