过去,雅虎的(令人难以置信的)糟糕的蜘蛛存在一些严重的问题,结果我们将其阻止了。Tumblr的Marco Arment也于2009年8月31日与我们分享了他的挫败感,这是我们阻止他们的一个因素。
自美国东部时间上午5:30以来,[Yahoo的Spider]每秒向我们发送70-200个请求。我从未见过像这样的东西,即使从过去滥用我们的流氓“实验”爬虫身上也看不到。Robots.txt禁令还不够:我必须在负载平衡器级别通过IP阻止它们。由于他们过去滥用堆栈溢出,因此我想您可能想知道。
雅虎的网络搜索似乎是“由Bing提供支持!” 现在。这很好,因为我们从未遇到过Bing的蜘蛛(又名MSNBOT)问题。
那么,Yahoo的搜索现在是否与Bing搜索相同,还是我们应该考虑潜在地解除对它们的阻止,如果它们以某种方式在各种困难下停止了如此艰难的吮吸?