当某些页面被永久删除后,返回410而不是404是否有意义?


16

返回410而不是404永久删除某些页面时有意义吗?在这段视频中,马特·卡茨(Matt Cutts)说Google对待它们的方式相同,但是是否还有其他理由实施410(技术上的正确性除外)?


我自己对此感到纳闷。似乎410不再被使用。
wogsland

Answers:


7

在我们的网站上,我们最近针对永久删除的页面实施了410个错误。Google索引中大约有4000万个页面,而Googlebot每天会抓取200万个请求。

清理数据库后,我们发现网站管理员工具上的抓取错误中不断出现大量404错误。当我们切换到410个状态而不是404个状态时,每天的错误数量减少了一半,而请求总数却保持不变。这样一来,每天最终可以更成功地抓取页面。看起来状态为404的页面会被爬网多次,然后才完全从索引中删除。

因此,我要说的是,绝对值得在适当的地方使用410来维持您的Google抓取预算。


11

在这个世界上,不止Google。410明确告诉机器人该文件已消失。404没有。持久性机器人可能会一直尝试无限期地查找404,而他们可能会立即停止尝试查找410,这会使您的服务器非常满意。


2
它是双向的,但:一个非常糟糕的机器人可能只认识200和404
彼得·泰勒

4
@Peter不确定这很重要-如果它们笨拙并且不理解HTTP代码,那么会造成什么危害?如果您使用404,那么糟糕的机器人和好机器人都将继续请求该页面,而使用410的机器人则只会请求该页面。
DisgruntledGoat 2012年

1
@DisgruntledGoat说了什么。参见Postel定律。糟糕的实现根本无法解决;您将要做什么,同时尝试解决所有这些问题和每个特殊问题?很少有例外,例如IE6在浏览器领域的长期统治,但总的来说,这是不值得的。
Su

6

除了搜索引擎数量超过Google之外,没有理由假设Google永远不会改变处理410个响应的方式。确实,这似乎已经发生了:视频中Matt Cutts引用的信息来自2007年,而John Mu于2009年发布的信息于在Google的Webmaster Central论坛上:

“我在这里的团队跟进了404 vs 410的事情。正如在这里和其他地方的其他人所提到的,过去我们通常对他们一视同仁。

但是,在研究了网站管理员在实践中如何使用它们之后,我们现在将410 HTTP结果代码比404视为“更永久”。因此,如果您完全确定某个页面不再存在并且将不再存在,使用410可能是一件好事。”

因此,看起来Google现在确实在处理410个响应,而不是处理404个响应。


4

根据我的经验,Google不理解410个错误代码。

前一段时间,我更改了一个完整的站点,因此所有旧的URL均为“ 410 Gone”。我无法使用301重定向,因为与新URL没有直接关系。

我曾经.htaccess用来告诉Google旧的URL已经消失了,但它一直告诉我我的网站上有404个错误。我检查了抓取错误报告中的网址,它们都是410,而不是它指出的404。


1

在这个世界上,不止Google。

引用真相。根据您的要求,要告诉漫游器(也可能是人类)某个页面已被永久删除,我实际上会选择301重定向到该页面,以说明(如有必要)为什么删除了内容,或采用bot /用户回到索引页面。

鲜为人知的HTTP错误代码通常不会得到全面的支持,理解或实施,因此,我通常坚持使用那些以确保获得预期的和希望的无缝浏览体验。

选择哪个选项取决于(现在)缺少内容仍要处理多少个请求。


1
为什么需要解释删除意味着您需要使用该解释301到另一个URL?解释可能在页面本身上,并带有410状态,以便搜索引擎了解它已经死了。
IMSoP 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.