8 我正在工作的站点通过301重定向将一个子域移至另一个子域。但是，当检查旧子域的robots.txt时，它具有robots.txt，不允许搜索引擎网络抓取工具对其进行抓取。 这是正确的举动吗？我相信不会，因为抓取工具将无法抓取旧站点来查看301状态代码。 seo redirects robots.txt — 垫子男孩 source 3 搬家之前是否已经存在禁售令？一些网站不希望出现在搜索引擎中。目前尚不清楚情况是如何发展的。 — user64742
11 您的怀疑是正确的，并带有您提到的确切理由。如果您禁止漫游器访问旧站点，则它们将无法看到301重定向。 — 西奥·范德泽 source 这是否还意味着由于robots.txt不允许Gbot抓取，指向旧域的链接源将不会转移到新域？ — 垫男孩 1 是的，如果robots.txt阻止了对僵尸程序的访问，那将发生的情况。 — Theo van der Zee
5 我相信不会，因为抓取工具将无法抓取旧站点来查看301状态代码。 是的，确切地说，这不是“正确的举动”。如果您实施301重定向（大概是为了保留SEO），则阻止正在重定向的URL将会阻止搜索引擎看到重定向并为新内容建立索引。 — DocRoot source 这是否还意味着由于robots.txt不允许Gbot抓取，指向旧域的链接源将不会转移到新域？ — 垫男孩 @mat boy，很少更新“链接汁”。无论有没有robots.txt文件，它都不可能更新到新域，但是可以无限期地将301保留在适当的位置，以确保链接将在正确的位置结束。 — 八达通 1 @Octopus您似乎在描述“ PageRank”，而不是“链接汁”？“链接汁”只是一个常见/ page语，描述了从一个页面链接到另一页面的SEO好处。 — DocRoot 1 @matboy是的，没错，不会将“链接汁”传输到新的URL。由于漫游器无法看到重定向，因此漫游器（搜索引擎）不知道页面已移动到其他位置。旧的URL将落入SERP中并最终消失，而新的URL将需要从头开始构建其SEO。 — DocRoot
0 我会保持robots.txt不变，但是请确保新旧页面具有适当版本的Canonical标签。这将有助于搜索引擎了解发生了什么。 — 杰森 source 2 如果您告诉爬虫不要对网页进行爬网，那么爬网程序将如何读取网页上的规范标签？ — 垫子男孩