来自用户代理Mozilla / 5.0（Windows; U; Windows NT 5.1; zh-CN; rv：1.9.0.10）的非法流量Gecko / 2009042316 Firefox / 3.0.10（.NET CLR 3.5.30729）
这是一个瞬息万变的事件，尚无答案。 请不要将您的发现或假设作为答案；为您实际有答案时保留答案字段。 如果您要添加新内容，请直接在问题中进行编辑。 自从今年年初以来，我与用户代理的通信量很大： Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729). 我的访问日志显示该用户代理的40％-60％。这很奇怪，因为用户代理使用的是Firefox 3.0.10浏览器（2012年有人在使用该浏览器吗？在普通网站上绝对不是40％-60％的访问者）。 此外，日志还显示该用户代理仅请求HTML文档，而没有引用的资产（如图像，css，js文件）。 我检查了那些请求的IP（使用该UA）。它来自世界各地。我认识到这些IP有时具有移动用户代理。 因此，我怀疑是一个移动应用程序正在执行很多“蜘蛛请求”。最好知道来自该用户代理的流量的根本原因。 谁能找出根本原因？ 在过去的几周中，我们认识到来自该UA的流量下降了，其他流量增加了。看起来僵尸程序/爬网程序现在正在使用更通用的UA，因此更难以阻止。我看到其他人在回答这个问题时说了这一点，但是当serverfault决定重新安排这个问题时，它就被删除了。 旧答案作为参考 从迪更新 我经营着自己的人流量很高的网站，最近一个月左右的时间在我的apache日志中看到了完全一样的东西（我还没有机会进一步检查）。很明显，所有请求中有40％是我所看到的百分比。 而且我还注意到，请求似乎总是说请求的浏览器不支持gzip压缩-导致所有网页请求都未经压缩发送，并且我们的带宽使用率飙升！ 但是到目前为止，我仍无法确定到底发生了什么-到目前为止，我一直怀疑可能是某种代理服务器或用于发送伪造的useragent字符串的移动设备。 编辑添加：进行了更多研究，它可能是防病毒软件：http : //www.webmasterworld.com/search_engine_spiders/4428772.htm 来自jamur21的更新 是的，我们注意到多个站点之间的流量相似。 我们仍在寻找根本原因，但我们的一些发现包括： 如果是蜘蛛，那就做得很差。似乎在每个域中锤击了一个或两个URL一段时间（可能是几个小时），直到它移到另一个URL。但是，内容总是相对“最新”的，这使Google新闻成为一个因素，正如Dee在其回答中张贴的链接（我们所有的网站都是新闻网站）中所假定的那样。 尽管IP在地理位置上分散了，但对我们来说，大多数似乎都位于原始站点附近（我们的大多数站点都是本地新闻媒体，因此它们不会吸引大量的国家流量）。几乎没有任何请求来自美国以外。同样，这也使从Google新闻中获取URL的信誉得到了保证（我猜通过邮政编码对Google新闻进行本地化的人会看到我们的内容）。 在大多数情况下，请求可以作为背景噪音（尽管特别嘈杂）被注销，但是一天几次，我们都会遇到麻烦，仅此UA就会在大约15-30分钟的时间内提供约100mbps的流量。 不幸的是，尽管Google新闻似乎是发现这些URL的可能载体，但我们所看到的一切都是偶然的，我们仍然没有确切地知道如何锤击这些URL的方式或原因。 来自班诺湾的更新 我们有一个大型新闻网站-我们的故事每周都会被Google新闻收录几次。自11月下旬以来，我们一直在从该来源获得流量-并且流量每周都在增长-2月可能有3000万次展示。 Google新闻美国版首页的出现是这种流量的诱因-据称约有75％来自美国IP。但是，无论如何，它都在努力使自己模糊。那并不友好。 我们也没有找到吸烟枪-但是主要的安全供应商已经同意代表我们进行进一步调查。 Artem Russakovskii的更新 新闻网站（AndroidPolice.com）刚发生同样的事情。在这些随机请求中，大约有10分钟的时间使QPS超过了我们平均水平的5000％（5000qps，这是Linode的NodeBalancer的限制）。当请求吞噬了I / O和网络时，CPU开始空转-这是一个真正的DDOS。 我真的很想深入浅出，但此刻似乎完全令人困惑。 从马克更新 …