从Google /搜索引擎SEO结果中隐藏子域?


11

我有一个Subomain,我不想在任何搜索引擎结果中列出。假设我有:

  • http://www.example.com
  • http://child.example.com

如何隐藏搜索引擎结果中当前显示的所有child.example.com域URL ?

Answers:


14

在子域网站目录的根目录中,添加一个名为robots.txt的文件,其中包含:

User-agent: *
Disallow: /

这将告诉网络爬虫完全不要对该站点编制索引。他们不必服从,但主要的服从。


嗨,我相信这是最好的事情。还有一件事让我知道,如果我这样做,那么要花多长时间才能影响Web结果?(例如Google搜索)我需要时间还是会突然花费时间?
夏期剧场,2013年

2
下次索引器爬网该站点时将被确认。从几分钟到几周不等,取决于您网站的重要性。您可以将网站添加到Google和Bing的网站站长,并重新读取robots.txt,从而更快地移动网站-您还可以从索引中删除页面。
Paul

1
如果您想加快这一过程,可以在google.com/webmasters/tools/removals for Google上提交删除请求,并在bing.com/toolbox/submit-site-url上为Bing 提交URL (是,建议您这样做。删除页面的方法)。
2013年

您还应该noindex在子域上添加索引和其他页面
Anagio

常见的根文件夹且子域名是动态的怎么办?stackoverflow.com/questions/21229235/...
戈皮

6

在您的子域中使用robots.txt文件会有所帮助(Google会这样做),但是您可以采取的另一步骤是,使用Google网站管理员帐户指定您不希望对该子域建立索引。您还可以在子域的所有页面上使用meta标记:

    <meta name="robots" content="noindex">

如果这恰好是您仅用于内部测试的站点,则将可见性限制为虚拟主机文件中指定的IP地址集将进一步隐藏该站点。


在所有页面中 哦不...
夏期剧场

@ 4lvin它是从服务器端动态完成的。您只需要编码一次。请不要告诉我您正在编码单个HTML页面。
Kenzo 2013年

大声笑,实际上是“是”。因为这是非常旧的/旧版的Web服务系统。(这就是为什么需要降低它的原因)里面有很多孤立的页面。:D
夏期剧场

@ 4lvin Ouch ...祝你好运!
Kenzo 2013年

1
meta您可以X-Robots-Tag从服务器返回指定子域的HTTP响应标头,而不必在每个页面中都嵌入noindex 标记-您只需执行一次。
MrWhite 2013年

2

Kenzo和Paul的解决方案很好,您可以将meta标签noindex放在您的网页上,并添加robots.txt以禁止使用机器人。

但是我认为,最好的解决方案是在您的子域上使用密码验证。这是您确定机器人可以访问您的网站并为其编制索引的唯一解决方案。如果使用Apache,则可以实现htpasswd


2

...目前在SEO结果中显示?

其他答案更多是关于主动防止对(子)域建立索引(这主要是您在问题中要问的内容),而不是主动从搜索结果中删除页面,这可能是您想要的,根据你还有一个问题

如其他答案中所述,您仍然需要在robots.txt中阻止您的网站并提供noindex meta标记(或X-Robots-TagHTTP响应标头),但是您还需要阻止访问您的页面,并返回404或410状态代码。

您可以在Google网站站长工具帮助页面上了解有关此内容的更多信息:
删除内容的要求

完成所有这些操作后,即可使用Google网站管理员工具中的“ 删除URL”工具。但是,这仅适用于单个URL,不适用于整个站点,但这只是一个开始。(Google声明,要使用GWT删除工具,必须使用robots.txt,noindex并提供404服务。)

但是,如果您仍然希望普通用户能够通过键入URL来访问该网站,那么这是一个问题-因为您的内容不再可用。您可以按照Zistoloen的建议输入密码,但是默认情况下,它将返回403(禁止访问),您需要重写此代码才能返回404/410。您可以隐瞒您的内容,将410返还给Googlebot,并允许其他人输入-但是在SERP中点击结果的人呢?

但是,如果您希望Google在最快的时间内删除您的内容,则需要将其从“ Google”互联网上删除。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.