搜索引擎为什么不索引我的内容?


29

这是一个普遍的,社会的维基捕获所有的问题和答案对旨在解决有关网站或特定网站内容不会出现在搜索引擎结果的原因有任何疑问。

如果您的问题作为该问题的重复而被关闭,并且您认为此处提供的信息不能提供足够的答案,请在Pro Webmasters Meta上进行讨论。

我的网站(或网站上的特定页面)未出现在搜索引擎结果中。

为什么我的内容未编入索引,我该怎么办?

Answers:


36

有多种原因可能导致您的内容未出现在搜索引擎结果中,但是,请务必注意,搜索引擎的 索引可能包含未显示在其 结果页面中的页面

如何判断您的内容是否实际编入索引

实际上可能很难判断您的内容是否已编入索引。

  • 从您的站点中搜索所有文档,然后查看列出的文档数量
    • Google:输入site:example.comexample.com您的域在哪里,冒号后不能有空格。)
    • 必应:输入site: example.com
    • 雅虎:输入site: example.com(或使用高级搜索表单)
  • 用8到12个单词的唯一句子搜索特定文档,然后用引号搜索该句子。例如,要查找此文档,您可以选择搜索“您的内容未出现在搜索引擎结果中的原因数量”
  • 除上述内容外,您还可以使用搜索关键词inurl:intitle:您可以尝试类似的方法,keyword with another keyword inurl:example.com这将打开仅针对指定域编制索引的upi页面。

    • 登录网站站长工具,以查看搜索引擎本身的统计信息,以了解该网站为多少页面编制了索引
    • Google网站管理员工具 -信息位于“健康”»“索引状态”下。如果您已提交站点地图,则还可以查看每个站点地图文件中有多少文档已建立索引。
    • Bing网站管理员工具

在某些情况下,似乎无法通过这些方法之一对文档建立索引,但是可以使用其他方法在索引中找到文档。例如,即使您可以搜索其句子并在搜索引擎上找到文档,网站管理员工具也可能会报告几乎没有索引文档。在这种情况下,该文件 实际索引。

内容如何编入索引

在搜索引擎将内容编入索引之前,他们必须使用网络搜寻器找到内容 您应该检查网络服务器的日志,以查看搜索引擎的搜寻器(由其用户代理标识,例如 GooglebotBing / MSNbot)是否正在访问您的网站。

较大的搜索引擎(例如Google和Bing)通常会频繁抓取网站,但是抓取工具可能不知道新网站。您可以通过注册为网站管理员(Google网站管理员工具Bing网站管理员工具)来通知搜索引擎网站的存在,或者,如果搜索引擎不提供此功能,则向其抓取工具(例如Yahoo)提交链接。

您的网站/内容在线了多长时间?

搜索引擎发现内容后可能会很快为其编制索引,但是这些更新有时会延迟。较小的搜索引擎也可能反应迟钝,需要花费数周的时间才能索引新内容。

如果您的内容仅在线了几天,并且没有来自其他站点的任何链接(或者其链接来自搜寻器不经常访问的站点),则可能未编入索引。如果您的网站已经上线了几个月,那么搜索引擎可能对它的信任程度不足以将很多内容编入索引。

网站管理员是否排除了该内容?

如果您要从其他人手中接管某个站点,并且特定页面或目录存在问题,则此步骤尤为重要: 如果希望爬网程序将被排除的内容编入索引,请检查 robots.txtMETA机械手排除对象,并删除它们。

是否存在技术上的问题阻止您的内容被索引?

如果您有一个已建立的网站,但未对特定内容进行索引(该内容所驻留的URL上没有Web爬网程序命中),则Google和Bing提供的网站站长工具可能会提供有用的诊断信息。

Google的抓取错误 文档为网络爬网程序的常见问题提供了广泛的背景知识,这些问题会阻止内容编入索引;如果您使用Google网站站长工具,则在您的网站上检测到任何这些问题时,都会收到警报。

尽快更正错误和配置错误,以确保对您网站的所有内容进行索引。

内容质量低劣吗?

搜索引擎不会索引他们抓取的大多数页面。他们只索引最高质量的内容。如果出现以下情况,搜索引擎将不会为内容编制索引:

  • 这是垃圾邮件,胡言乱语或胡说八道。
  • 在其他地方可以找到它。当搜索引擎找到重复的内容时,他们仅选择重复项之一进行索引。通常,这是具有更多声誉和链接的原始文件。
  • 它很薄。它需要多于几行的原始文本。最好多得多。自动创建的页面内容很少,例如您每个用户的页面都不太可能被索引。
  • 它没有足够的声誉或链接。页面可能埋在您的网站中太深而无法排名。任何没有外部链接且首页点击次数不多的页面都不太可能被索引。

您的部分内容是否被编入索引,但不是全部?

如果您的网站有数百个页面,则Google几乎永远不会选择为每个页面建立索引。如果您的网站有数以万计的页面,则Google通常只选择对这些页面的一小部分编制索引。

Google会根据网站的整体声誉和内容质量来选择要编制索引的页面数。随着网站声誉的提高,随着时间的推移,Google通常会为该网站建立更大的索引。



1

我认为我不需要重复上述相同的内容,但是,如果您不熟悉新工具,则可以通过下面的方法进行检查。

您可以转到旧版Google网站站长的 robots.txt测试工具,检查robot.txt文件是否阻止了内容

在此处输入图片说明

Google Search Console(新版本)

与旧版本相比,Google Search Console提供了有价值的信息。直接从Google Search Console中检查问题,无论您的页面是否已爬网,是否已编入索引,是否正常运行以及是否存在问题。

  1. 登录到您网站的Google Search Console
  2. 如果您具有多个域属性,请确保已选择所需的域属性。

Google网站管理员中不推荐使用的工具

现在已经过时了

这是您如何浏览新的Search Console的方法

新的Google Search Console


0

如果您的根目录中有robots.txt文件,则可能是在告诉Google不要为您的网站编制索引。

你检查了吗?

通常,只是删除(或重命名)那些文件是安全的,因为听起来您确实希望被索引。

重要提示: 如果您试图让Google Adsense在您的网站上运行,这可能会破坏交易。

无论您在哪里放置特殊代码,如果您没有被索引,都会被告知您的网站已关闭,因此他们无法对其进行验证。


robots.txt文件具有用户定义的一组规则以进行爬网或不进行爬网,因此将其删除不是解决方案,因为这是第一个要爬网的文件。最好的解决方案是修正规则,测试robots.txt文件,然后在robot.txt中添加sitemap指令,以使lastmap与lastmod保持最新,并更改频率属性。
Deepak Mathur
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.