Answers:
在子域网站目录的根目录中,添加一个名为robots.txt的文件,其中包含:
User-agent: *
Disallow: /
这将告诉网络爬虫完全不要对该站点编制索引。他们不必服从,但主要的服从。
noindex
在子域上添加索引和其他页面
在您的子域中使用robots.txt文件会有所帮助(Google会这样做),但是您可以采取的另一步骤是,使用Google网站管理员帐户指定您不希望对该子域建立索引。您还可以在子域的所有页面上使用meta标记:
<meta name="robots" content="noindex">
如果这恰好是您仅用于内部测试的站点,则将可见性限制为虚拟主机文件中指定的IP地址集将进一步隐藏该站点。
meta
您可以X-Robots-Tag
从服务器返回指定子域的HTTP响应标头,而不必在每个页面中都嵌入noindex 标记-您只需执行一次。
...目前在SEO结果中显示?
其他答案更多是关于主动防止对(子)域建立索引(这主要是您在问题中要问的内容),而不是主动从搜索结果中删除页面,这可能是您想要的,根据你还有一个问题。
如其他答案中所述,您仍然需要在robots.txt中阻止您的网站并提供noindex meta
标记(或X-Robots-Tag
HTTP响应标头),但是您还需要阻止访问您的页面,并返回404或410状态代码。
您可以在Google网站站长工具帮助页面上了解有关此内容的更多信息:
删除内容的要求
完成所有这些操作后,即可使用Google网站管理员工具中的“ 删除URL”工具。但是,这仅适用于单个URL,不适用于整个站点,但这只是一个开始。(Google声明,要使用GWT删除工具,必须使用robots.txt,noindex并提供404服务。)
但是,如果您仍然希望普通用户能够通过键入URL来访问该网站,那么这是一个问题-因为您的内容不再可用。您可以按照Zistoloen的建议输入密码,但是默认情况下,它将返回403(禁止访问),您需要重写此代码才能返回404/410。您可以隐瞒您的内容,将410返还给Googlebot,并允许其他人输入-但是在SERP中点击结果的人呢?
但是,如果您希望Google在最快的时间内删除您的内容,则需要将其从“ Google”互联网上删除。