2
为什么Google网站管理员工具会抓取无效的URL并显示500个错误?
Google网站管理员工具报告了12k + 500错误。eek! 这些URL均无效-它们都包含www.youtube.com。首先,如果这些URL不存在,为什么Google会对其进行爬网?我提供了一个站点地图,它们当然不在站点地图中。 我没有robots.txt阻止任何内容。我检查了无效的重定向-无,并检查了未关闭的标签或无意中将www.youtube.com扔进URL的东西-没有。 在每个“链接自”中,引荐URL也是无效的URL,其中包含www.youtube.com。Google工具未报告任何恶意软件,并且由于主机无法授予我访问权限,因此我无法检查服务器日志。 真的卡住了!任何想法表示赞赏!