7 Google是否会缓存robots.txt？ 一周前，我在自己的一个网站上添加了robots.txt文件，这应该可以阻止Googlebot尝试获取某些网址。但是，这个周末我可以看到Googlebot正在加载这些确切的网址。 Google会缓存robots.txt吗？ 17 googlebot robots.txt google-cache