是否有任何明确的指标表明我的站点地图文件是有益的?


73

我最近创建了一个sitemap.xml文件,并将其上传到我的Google Webmasters工具帐户。Google没有报告我的网站上载的站点地图有任何问题或错误。

现在我的问题是:

  • 我怎么知道我的站点地图是否可以在Google网站站长工具中使用?

我问的原因是我不知道该怎么看或正在寻找,感觉就像我上载了一个无用的文件。

Answers:


93

一个站点地图文件可以帮助搜索引擎发现新的和更新的网址,您的网站上。特别是,如果您的网站很大,则可以帮助他们专注于新内容和更新内容,而不必盲目地浏览所有内容以查看是否已更改。这样可以更快地发现新内容,尤其是在网站更大或更复杂的情况下,这可能会非常明显。

特别是Google(我在Google工作;我不知道其他搜索引擎如何处理这些信息),它还会执行以下操作:

  • 查找为您的网站建立索引的URL的数量:这些统计信息每天都会重新计算,并且非常准确。您可以在Sitemaps详细信息页面中找到这些内容。
  • 发现规范化问题:如果那里的数字不匹配,则通常表明您在Sitemap文件中指定的网址与我们在抓取过程中发现的网址不匹配。通常这表明您需要进行规范化
  • 规范化帮助:当您在网站上找到多个显示相同内容的URL时,即使您未使用其他规范化方法,我们也会为Sitemap中列出的所有URL提供额外的优势。
  • 查找网站索引编制不正确的部分:每个站点地图文件都会提供这些计数,因此您可以为网站的逻辑部分创建单独的站点地图文件,以发现Google索引不足的区域。
  • 优先抓取错误:在“ 抓取错误”部分中,单独列出了Sitemaps文件中指定的URL。由于您专门提供了这些URL,因此我们假定您希望它们被索引,并且所有爬网错误都很重要。

此外,您可以选择在Sitemaps文件中使用多个扩展名(例如,用于图像,视频,新闻或国际化)。这些扩展都是可选的。

对于大多数网站,Sitemaps文件中最可见的元素是您可以看到索引的URL计数。它可能需要一天左右的时间才能显示出来,因此,如果您是首次提交站点地图,则可能需要耐心一点。虽然其他方式(例如site:-query)非常非常近似,但是此计数非常准确。

编辑添加:关于站点地图,我个人觉得非常有用的另一件事是,如果您不是直接用CMS生成站点地图,则总是会发现很多关于您的网站如何可爬网以及发现哪种URL的信息。在那个过程中。我见过很多情况,使用您身边的工具(例如Sitemaps生成器)爬行网站会冒出您可能会错过的问题,例如URL中的会话ID,通过URL差异复制内容,无限空间(例如作为无尽的日历),甚至是根本没有链接的网站部分。


很棒的信息。我也听说过,在一些人流量大,人满为患的网站上,最好不要使用站点地图,因为Google可以更好地进行爬网,如果站点地图中缺少任何内容,它可能会停止索引。
Chris_O 2012年

3
@Chris_O您正在将不同的问题融合在一起。在那个例子中,并不是说Google独自完成了一个“更好”的工作。网站地图本身有问题。这并不是“根本不使用站点地图”的直接论点。解决这种情况的方法是修复站点地图。此外,站点地图仅供参考,而不是指令。站点地图中缺少的内容并不意味着Google不会自己找到它,也不会忽略它。
苏'

该网站有超过4万个被索引的页面,并且新内容在不到5分钟的时间内被索引(没有网站地图)。根据您的回答,我们将开始构建它们并将其分解为数年。
Chris_O 2012年

@ john-mueller嗨先生。米 -我曾经提交了一个包含1000个URL的测试站点地图,我们获得了大约700个索引,现在我们通过以下站点测试了所有1000个URL:www.complete.org/url/to/the/page.html,我们得到了低于700个网址的计数方式(超过200个网址)。这是什么意思?
弗朗兹(Franz)

2
@Franz有时涉及到一些细节,这些细节使得使用site:-queries难以重现索引的URL数量。例如,在某些情况下,我们可能会组合多个URL,而仅对site:-query显示其中一个URL。因此,如果您发现那里有所不同,通常就不必担心。
约翰·穆勒

6

如果您没有收到任何错误,则可以假定Google已对其进行了解析并且知道其中的内容。但这并不意味着他们将对这些页面进行爬网和/或索引。站点地图只是告诉搜索引擎您的网页的另一种方式。他们没有义务对任何或所有这些页面进行爬网和编制索引。他们也可以通过链接或URL提交来查找页面。


1
作为补充信息,很容易看到Google是否了解站点地图。在优化->站点地图下检查。它将告诉您站点地图中已提交了多少个URL。该站点地图已成功读取内容,并在其中找到了很多链接。第二个数字是被索引的数量,正如John指出的那样,完全取决于Google的判断,即它们是否有价值,毫无价值或大部分有价值。它将始终小于提交的数量,Google只是发现某些页面不太热门,因此不会打扰他们。
Fiasco Labs 2012年

1

如果您有大量的高质量链接,那么Google通常会很好地抓取您的网站。如果您花费大量时间查看已索引的页面数,我建议最好改善您的网站并获得一些高质量的链接。


0

也许像这样的站点地图验证工具,尽管我从未“看不到”站点地图开始出现。


该文件已被验证。那不是问题。
苏'

0

对于较大的网站,例如具有数百,数千或数百万个页面的网站,它非常有用。我们公司的网站上有40万个页面,其中URL由Content ID动态创建,URL参数与&一起使用,Google网站站长工具将为您提供有关已爬网页面的反馈并向您显示错误,您可以调试或打开页面,亲眼看看有什么问题。通过这种方式,谷歌实际上帮助我们创建了一个更好的网站,并使我们免于几次尴尬。

查看索引页数与已爬网数也很有用。

对于较小的网站,如果网站是一小群.html页面,其中每个页面都是通过菜单链接的,并且网站不经常更新,则如果您上传站点地图,则搜索结果不会有任何变化。与未上传站点地图的人相比,上传站点地图将没有任何优势。

我以前也有大约20个小型网站,在这些网站中,我是由cron脚本自动生成的站点地图,而我停止这样做了。有一天,我发现由于错误而无法正确生成XML文件约6个月,但是Google幸好忽略了我的错误,即使这些站点地图有错误,也对这些网站进行了完全索引,Google只是将站点地图用作提示,而不是非常认真

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.