Questions tagged «baidu»

我的大部分访问都是来自百度蜘蛛。我认为它根本不会帮助搜索引擎，因此我正在考虑如何阻止它们。可以通过iptables完成吗？我正在使用nginx作为我的网络服务器。

15 traffic  nginx  web-crawlers  baidu 

当我查看apache日志时，可以看到百度在过去2周中每天爬行10次。 我并不是很在乎它，但我真的很好奇他为什么要这么做。这是一个非常小的单页网站，没有太多的传入链接。 这背后有什么原因吗？ 220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)" 123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / …

12 seo  web-crawlers  baidu