Google索引的开发网站

8

我开发一个子域（我们的网站的新版本dev.oursite.com）和robots.txt的使用Disallow在某些时候得到了更换，因此该网站得到了由谷歌和其他搜索引擎索引。它并没有显示出很高的结果或任何东西，但是它包含所有重复的内容，我希望它不存在。

子域现在不见了，我有一个301可以将每个页面从重定向dev.oursite.com/page-name到http://oursite.com/page-name。

我还有什么需要做的事情才能将开发者网站从Google中删除？它最终会自行消失吗？

— 凯尔
source

4

谷歌有这样一个有用的常见问题解答页面：support.google.com/webmasters/bin/...

— chrisjlee

7

在Google网站站长工具中查看网址删除工具。我还会对页面进行404处理，而不是重定向页面，以便更快地将其删除，将来除了robots.txt之外，您还可以输入，rel="canonical"以确保Google知道开发人员站点只是主站点的副本，而不是索引。

— 约沙克
source

3

我一直很担心开发站点被索引。我不信任robots.txt或meta noindex，尽管我确实使用它们，但如果不麻烦的话，我也会用密码保护这些网站。但是，另一种选择是使用.htaccess并拒绝对公司内部以及同事和开发人员除IP以外的任何人进行访问。只需添加他们的C类。

— Anagio
source

1

这是最好的方法。403每个人，但一系列地址或地址块。世界其他地区消失了，只有那些需要看到它的人才能看到。对于这个问题的事实之后，但对将来的了解很高兴。你甚至可能推出升级后的试验需要私人访问的开发站点，由第三方开发者等自定义编程

— Fiasco的实验室

1

除了Joshak提供的正确答案之外，我还想向您提供如何避免这种情况的提示。

为了解决这个完全相同的问题，我要做的是在vhost的Apache httpd定义中强制robot.txt。这样，“禁止”就不可能被正在开发的网站中的任何代码消失或改变。我的虚拟主机定义都看起来像这样：

<VirtualHost *:80>
    DocumentRoot /var/www/html/Hosting/test.example.com/newsite.com
    ServerName newsite.com.test.example.com
    ServerAlias *.newsite.com.test.example.com
    UseCanonicalName on
    RewriteEngine on
    RewriteRule ^/robots.txt /var/www/no-indexing-robots.txt [NC,L]
</VirtualHost>

— 尼尔斯·巴杰斯（Niels Basjes）
source