Questions tagged «useragent»

1
来自用户代理Mozilla / 5.0(Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.10)的非法流量Gecko / 2009042316 Firefox / 3.0.10(.NET CLR 3.5.30729)
这是一个瞬息万变的事件,尚无答案。 请不要将您的发现或假设作为答案;为您实际有答案时保留答案字段。 如果您要添加新内容,请直接在问题中进行编辑。 自从今年年初以来,我与用户代理的通信量很大: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729). 我的访问日志显示该用户代理的40%-60%。这很奇怪,因为用户代理使用的是Firefox 3.0.10浏览器(2012年有人在使用该浏览器吗?在普通网站上绝对不是40%-60%的访问者)。 此外,日志还显示该用户代理仅请求HTML文档,而没有引用的资产(如图像,css,js文件)。 我检查了那些请求的IP(使用该UA)。它来自世界各地。我认识到这些IP有时具有移动用户代理。 因此,我怀疑是一个移动应用程序正在执行很多“蜘蛛请求”。最好知道来自该用户代理的流量的根本原因。 谁能找出根本原因? 在过去的几周中,我们认识到来自该UA的流量下降了,其他流量增加了。看起来僵尸程序/爬网程序现在正在使用更通用的UA,因此更难以阻止。我看到其他人在回答这个问题时说了这一点,但是当serverfault决定重新安排这个问题时,它就被删除了。 旧答案作为参考 从迪更新 我经营着自己的人流量很高的网站,最近一个月左右的时间在我的apache日志中看到了完全一样的东西(我还没有机会进一步检查)。很明显,所有请求中有40%是我所看到的百分比。 而且我还注意到,请求似乎总是说请求的浏览器不支持gzip压缩-导致所有网页请求都未经压缩发送,并且我们的带宽使用率飙升! 但是到目前为止,我仍无法确定到底发生了什么-到目前为止,我一直怀疑可能是某种代理服务器或用于发送伪造的useragent字符串的移动设备。 编辑添加:进行了更多研究,它可能是防病毒软件:http : //www.webmasterworld.com/search_engine_spiders/4428772.htm 来自jamur21的更新 是的,我们注意到多个站点之间的流量相似。 我们仍在寻找根本原因,但我们的一些发现包括: 如果是蜘蛛,那就做得很差。似乎在每个域中锤击了一个或两个URL一段时间(可能是几个小时),直到它移到另一个URL。但是,内容总是相对“最新”的,这使Google新闻成为一个因素,正如Dee在其回答中张贴的链接(我们所有的网站都是新闻网站)中所假定的那样。 尽管IP在地理位置上分散了,但对我们来说,大多数似乎都位于原始站点附近(我们的大多数站点都是本地新闻媒体,因此它们不会吸引大量的国家流量)。几乎没有任何请求来自美国以外。同样,这也使从Google新闻中获取URL的信誉得到了保证(我猜通过邮政编码对Google新闻进行本地化的人会看到我们的内容)。 在大多数情况下,请求可以作为背景噪音(尽管特别嘈杂)被注销,但是一天几次,我们都会遇到麻烦,仅此UA就会在大约15-30分钟的时间内提供约100mbps的流量。 不幸的是,尽管Google新闻似乎是发现这些URL的可能载体,但我们所看到的一切都是偶然的,我们仍然没有确切地知道如何锤击这些URL的方式或原因。 来自班诺湾的更新 我们有一个大型新闻网站-我们的故事每周都会被Google新闻收录几次。自11月下旬以来,我们一直在从该来源获得流量-并且流量每周都在增长-2月可能有3000万次展示。 Google新闻美国版首页的出现是这种流量的诱因-据称约有75%来自美国IP。但是,无论如何,它都在努力使自己模糊。那并不友好。 我们也没有找到吸烟枪-但是主要的安全供应商已经同意代表我们进行进一步调查。 Artem Russakovskii的更新 新闻网站(AndroidPolice.com)刚发生同样的事情。在这些随机请求中,大约有10分钟的时间使QPS超过了我们平均水平的5000%(5000qps,这是Linode的NodeBalancer的限制)。当请求吞噬了I / O和网络时,CPU开始空转-这是一个真正的DDOS。 我真的很想深入浅出,但此刻似乎完全令人困惑。 从马克更新 …

3
如何阻止用户代理访问服务器上所有站点?
我最初将此内容发布在webmasters.stackexchange.com上,但被告知我会在这里得到更好的接待。 在过去的几天里,我一直在遭受似乎是(可能是无意间)DDOS攻击的痛苦。我收到了来自代理的大量请求,这些请求被标识为“ Mozilla / 4.0(兼容; ICS)”,apache吞噬了所有可用内存。 因此,我想阻止此用户代理伴随的所有请求,因此我尝试在httpd.conf中执行此操作: SetEnvIfNoCase User-Agent "Mozilla/4.0 (compatible; ICS)" bad_user Deny from env=bad_user 但是当我重新启动apache时,它抱怨在deny这里使用。不必将其包装在location或directory块中,这意味着我必须为每个站点添加一个新块,有什么办法可以拒绝访问整个服务器? 更新:我得到的错误 在/etc/apache2/httpd.conf的第4行上重新启动Web服务器apache2 语法错误:此处不允许拒绝[失败]

2
通过用户代理字符串阻止apache访问
我有一个脚本编写者,他正在使用代理服务器来攻击我所服务的网站。 我注意到,他们倾向于通过带有某些常见用户代理字符串的软件(即http://www.itsecteam.com/en/projects/project1_page2.htm “ Havij高级sql注入软件”和user_agent字符串)来访问网站。的Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) Havij)。我知道任何值得一试的破解软件都可以修改其用户代理字符串,但脚本编写者必须在某个时候处理该功能,对此我认为很好。 那么,是否有任何软件可以通过匹配用户代理字符串自动阻止访问并永久将其列入黑名单?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.