在6月4日的网络流量的仙人掌图上看到这一点，我们感到有些惊讶：
我们在IIS日志上运行了Log Parser，事实证明这是Yahoo和Google bot对我们进行索引的一次完美风暴。在这3个小时内，我们看到来自3个不同Google IP的287k命中，以及Yahoo的104k命中。哎哟？
虽然我们不想阻止Google或Yahoo，但以前已经出现过。我们可以访问Cisco PIX 515E，并且正在考虑将其放在前面，以便我们可以动态地应对带宽违规者，而无需直接接触我们的Web服务器。
但这是最好的解决方案吗？我想知道是否有任何软件或硬件可以帮助我们识别并阻止过多的带宽使用，理想情况下是实时的？也许我们可以在Web服务器之前放置一些硬件或开源软件？
我们主要是Windows商店，但我们也有一些Linux技能。如果PIX 515E不够用，我们也愿意购买硬件。你会推荐什么？
Answers:
如果您的PIX运行的是7.2版或更高版本的操作系统，或者可以升级到该版本，则可以在防火墙级别实施QOS策略。特别是，这可让您调整流量并应限制机器人使用的带宽。思科有一个良好的gudie这个位置。
我不确定yahoo，但您可以配置Google的漫游器为您的网站编制索引的频率。看看Google网站管理员。我不确定Yahoo是否有类似的东西。在任何情况下，您的流量都会减少多达50％。
另外，某些Web服务器可以限制每个连接的流量，因此您可以尝试这样做。我个人会远离硬件解决方案，因为它最有可能花费更多。
减少爬网负载-仅适用于Microsoft和Yahoo。对于Google，您需要通过其网站站长工具（http://www.google.com/webmasters/）指定较慢的抓取速度。
实施此操作时请格外小心，因为如果您放慢抓取速度，机器人将无法访问您的所有网站，并且您可能会从索引中丢失页面。
以下是一些示例（这些都放在您的robots.txt文件中）：
# Yahoo's Slurp Robot - Please wait 7 seconds in between visits
User-agent: slurp
Crawl-delay: 7
# MSN Robot - Please wait 5 seconds in between visits
User-agent: msnbot
Crawl-delay: 5
稍微偏离主题，但您也可以指定Sitemap或Sitemap索引文件。
如果您想为搜索引擎提供最佳URL的详尽列表，则还可以提供一个或多个Sitemap自动发现指令。请注意，用户代理不适用于此指令，因此您不能使用它来指定某些但不是全部搜索引擎的站点地图。
# Please read my sitemap and index everything!
Sitemap: http://yourdomain.com/sitemap.axd
我建议使用Microsoft ISA Server2006。具体针对此要求，默认情况下，每个IP限制为每分钟600个HTTP请求，并且您可以为Jon Skeet应用例外（对不起，我意识到“笑话”已经产生了！ ）。
您还具有应用程序级过滤的其他优点，能够跨多个Web服务器（而不是这些服务器上的NLB）进行负载平衡，VPN终止等功能。有许多商业扩展可用，如果您愿意，甚至可以编写自己的ISAPI过滤器你感觉很勇敢。
它显然不是开源的，但是对Windows商店有利，并且可以在商品硬件上运行。