Google错误地为我的首页编制了索引：如何解决？

我完成并启动了网站，我认为我遇到了问题robots.txt-因此我将其更改为以下形式：

03/08/2012
# Allows all bots

Sitemap: http://www.mysite.co.za/sitemap.xml

User-agent: *
Disallow: /dashboard/

当我用google搜索我的信息时domain.co.za-我会回来：

A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15

现在，由于我已解决此问题，并添加了301重定向以将重定向mysite.co.za到www.mysite.co.za，如果Google bot会来进行访问，我将喜欢它。

我有什么办法可以解决此问题？

戴夫（Dave）的钱是对的（虚拟+1，因为我的分数仍然太低）

请执行以下操作

• 前往网站管理员工具
• 进行“以Googlebot身份获取”
• 提取后，将出现“提交索引”选项。
• 弹出问题时，选择“此和所有链接的URL”

这样可以加快速度，但是不要期望立即得到结果。

现在，您可以使用Google网站管理员工具中的“作为Googlebot抓取”工具来说服Google重新抓取（或首次抓取）页面-http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / submit-urls-to-google-with-fetch-as.html

# 03/08/2012
# Allows all bots

您还应该注释掉#第一行（带有前缀）。

Google应该尽快（几天之内，具体取决于您网站的缓存标头）重新获取您的robots.txt文件，但可能需要一段时间才能为您的网站重新编制索引。不幸的是，您可能只需要耐心等待即可。

我想补充一点，不必在您的网站上添加robots.txt文件即可对其进行抓取。我发现许多人对robots.txt文件有误解。搜索引擎机器人即使没有robots.txt文件，也会抓取您的网站。

但是，如果您不想向搜索引擎显示某些内容，则需要robots.txt。

对于您而言，以下步骤将导致您的网站被快速爬网：

• 将您的网站提交到相关目录
• 在领先的书签网站（例如，digg，stubleupon，reddit）中为您的网站添加书签
• 如果您有良好的营销预算，请撰写有关网站启动的新闻稿，并在知名的PR网站（如prweb.com等）上发布。