Google为什么停止从我们的sitemap.xml中索引页面?
我们发现我们的网站中存在一些网页,sitemap.xml但Google的公共搜索索引莫名其妙地缺少了这些网页。 您无法下载/superuser//sitemap.xml,因为过去存在问题,因此我们会保护此文件,但googlebot可以。我们已经通过Google网站管理员工具验证了该sitemap.xml文件今天已被拉下,并且等级为“正常”,没有错误(绿色复选标记)。 其中sitemap.xml包含我们网站上最近提出的50,000个问题的列表。例如,这个问题... /superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links ...存在于sitemap.xml...中 <url> <loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc> <lastmod>2010-10-20</lastmod> <changefreq>daily</changefreq> <priority>0.2</priority> </url> 搜索“如何查看一长串符号链接的末尾”仅给questionhub.com提供一个结果,该结果正在抓取我们的数据(一个完全不同的问题)。 您可以增加问题计数的数目,并精确搜索问题标题,您将看到此模式仍然存在。 这些网址位于 sitemap.xml中,但未显示在Google的索引中-但仍显示在抓取我们的创作共用数据的网站上。为什么会这样呢?