Questions tagged «noindex»


1
robots.txt中的“ Noindex:”如何工作?
我今天在我的SEO新闻中浏览了这篇文章。似乎暗示您Noindex:除了robots.txt中的标准Disallow:指令外,还可以使用指令。 Disallow: /page-one.html Noindex: /page-two.html 似乎这样做会阻止搜索引擎抓取第一页,并阻止它们索引第二页。 这是robots.txt的谷歌和其他搜索引擎所支持的指令?它行得通吗?有文件记录吗?


1
如何阻止“无结果”页面堆积Soft 404错误?
最近,我注意到Google网站管理员工具中出现了越来越多的Soft 404错误列表。它们全部用于动态生成的报告“未找到匹配项”的搜索结果页面。 我确实了解Google对Soft 404的含义以及为什么他们要为这些页面报告它。所以我添加<meta name="robots" content="noindex">到这些页面。 但是,对于使用noindex元标记的网页,Google仍报告新的Soft 404错误。 为什么Google 告诉我告诉他们不要建立索引的页面有任何错误? 问题在于,由于所有这些不必要的错误,我看不到是否有任何实际的问题需要修复。 有人说这些页面应该返回404状态代码。但这只是将问题转移到404错误标签上。此外,Google的“ 无结果”页面返回状态码200 。 我不想使用robots.txt阻止访问,因为我希望跟随这些页面上的链接,并且我希望Google查看noindex元标记。此外,没有可以用来阻止它们的模式。 Google首先找到了这些URL,因为这些内容曾经存在,但是已被删除。我无法返回410状态代码,因为我的PHP代码无法知道未找到结果的原因。 有什么我可以做的,以使发现实际问题更加容易?

4
如何阻止某些网址被索引
键入时site:example.com(显然是使用我的域),列表中显示了几个链接错误。通常,它们具有以下形式:/some/fixed/path/admin/unblockUser/11 我正在考虑将以下行添加到我的robots.txt文件中: Disallow: /some/fixed/path/admin/*
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.