19
网站地图悖论
我们在Stack Overflow上使用了站点地图，但对此我有不同的感觉。 Web爬网程序通常从站点内的链接和其他站点发现页面。Sitemap补充了此数据，以使支持Sitemap的搜寻器可以拾取Sitemap中的所有URL，并使用关联的元数据来了解这些URL。使用Sitemaps 协议并不能保证搜索引擎中会包含网页，但是会为Web爬网程序提供提示，以更好地抓取您的网站。 根据我们两年的站点地图经验，该站点地图在本质上有些悖论： Sitemaps适用于难以正确爬网的网站。 如果Google无法成功抓取您的网站来找到链接，但能够在站点地图中找到它，则它不会赋予站点地图链接任何权重，也不会为它建立索引！ 这就是站点地图悖论- 如果您的站点未得到适当的爬网（无论出于何种原因），那么使用站点地图将无济于事！ Google竭尽全力不提供任何站点地图保证： “我们不能对何时或是否您的网址将被抓取或添加到我们的索引预测或保证” 引文 “我们不保证将对您的所有URL进行爬网或建立索引。例如，我们不会对您的站点地图中包含的图像URL进行爬网或建立索引。” 引文 “提交Sitemap并不能保证你的网站的所有网页将在搜索结果中被抓取或” 引文 鉴于在站点地图中找到的链接仅是建议，而在您自己的网站上找到的链接被认为是规范的...似乎唯一合乎逻辑的事情是避免拥有站点地图，并确保Google和任何其他搜索引擎可以正确访问使用其他所有人都能看到的普通旧标准网页来搜寻您的网站。 到时候你做的是，和越来越好的震垮，彻底使谷歌可以看到你自己的网站链接到这些网页，并愿意抓取的链接-呃，为什么我们需要一个网站地图，再？该站点地图可能会造成有害影响，因为它会使您无法确保搜索引擎蜘蛛能够成功抓取整个网站。“哦，抓取工具是否可以看到它都没关系，我们只需在站点地图中拍打那些链接！” 现实与我们的经验相反。 考虑到站点地图是针对链接或非常复杂的UI的站点而设计的，这似乎有点讽刺意味。根据我们的经验，该站点地图无济于事，因为如果Google在您的网站上找不到合适的链接，则无论如何它都不会从该站点地图建立索引。我们已经一次又一次地看到有关堆栈溢出问题的证明。 我错了吗？站点地图是否有意义，而我们却以某种方式不正确地使用了它们？