Questions tagged «crawl-errors»

6
使用不存在的URL进行的大规模404攻击。如何预防呢?
问题是Google网站站长工具报告的全部404错误,其中包含从未出现过的页面和查询。其中一个是viewtopic.php,而且我还注意到,尝试检查该网站是否为WordPress网站(wp_admin)和cPanel登录的尝试次数令人恐惧。我已经阻止了TRACE,并且服务器配备了一些防御扫描/黑客的措施。但是,这似乎并没有停止。根据Google网站站长的说法,引荐来源网址为totally.me。 我一直在寻找一种解决方案来停止这种情况,因为它对贫穷的实际用户而言肯定不是好事,更不用说SEO了。 我使用的是Perishable Press迷你黑名单(在此处找到),标准的引荐来源网址拦截程序(适用于色情,草药,赌场网站),甚至还有一些用于保护该网站的软件(XSS拦截,SQL注入等)。服务器也正在使用其他措施,因此可以假设该站点是安全的(希望如此),但并没有结束。 还有其他人有同样的问题吗?或者我是唯一看到此问题的人吗?我认为是某种攻击吗?有没有解决的方法,或者更好的方法是防止这种无用的资源浪费? 编辑 我从未用过这个问题来感谢您的回答,并希望可以做到这一点。谢谢大家的深刻见解,这帮助我找到了解决之道。我遵循了每个人的建议并实施了以下内容: 一个蜜罐 一个脚本,该脚本侦听404页中的可疑网址,并向我发送包含用户代理/ ip的电子邮件,同时返回标准404标头 在相同的404自定义页面中,奖励合法用户的脚本,以防他们最终点击这些网址之一。在不到24小时的时间内,我就能够隔离出Spamhaus中列出的所有可疑IP。到目前为止,所有记录的IP都属于垃圾邮件VPS托管公司。 再次谢谢大家,如果可以的话,我会接受所有答案的。

3
Google Search Console Beta中的“未将提交的URL未选择为规范”的解决方案是什么?
Google的新网站站长工具的“索引覆盖范围”>“排除的”>“提交的网址未选择为规范网址”部分。我在网站的“未选择提交的URL作为标准”部分中获得了3个内部链接。 我不确定为什么这些内部链接会出现在这里。我已经为这3个链接更新了规范标签。(我不共享链接,原因可能是我的帐户被标记为垃圾邮件) Google的帮助页面上有一些相关信息,但没有说明如何解决: 未选择提交的URL作为规范的URL:URL是一组重复URL中的一个,没有明确标记的规范页面。您明确要求将该URL编入索引,但是由于它是重复的,并且Google认为另一个URL更适合作为规范的候选者,因此Google并未对此URL进行索引。相反,我们索引了所选的规范。此状态与“ Google选择的规范用户与用户选择的规范”之间的区别在于,在这种情况下,您明确要求建立索引。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.