Answers:
您可以在Google网站管理员工具中控制Google抓取网站的速度。
您网站的爬网率决定了Googlebot每次访问爬网网站所花费的时间。我们的目标是彻底爬网您的网站（以便可以为您的页面建立索引并在搜索结果中返回！），而不会对服务器带宽造成明显影响。尽管大多数网站管理员都可以使用默认的抓取设置（即无需更改，更多内容在下面），但某些网站管理员可能有更具体的需求。
Googlebot采用了复杂的算法，可确定抓取其访问的每个网站的数量。对于绝大多数网站，最好选择“让Google确定我的抓取速度”选项，这是默认选项。但是，如果您是高级用户，或者服务器面临带宽问题，则可以将爬网速度自定义为最适合Web服务器的速度。自定义抓取速度选项可让您提供Googlebot洞察力，以达到您认为最适合环境的每秒最大请求数以及两次请求之间的秒数。
Googlebot会确定网站站长工具中将提供的爬网率值的范围。这是基于我们对服务器功能的了解。该范围可能会因几个因素而从一个站点到另一个站点，并随时间变化。将爬网速度设置为低于默认值可能会影响您的网站在Google搜索结果中的覆盖范围和新鲜度。但是，将其设置为比默认值更高的值不会改善您的覆盖率或排名。如果您确实设置了自定义抓取速率，则新速率将在90天内生效，然后将其重置为Google的建议值。
您只能将此设置用于根目录级站点和不在大型域（例如blogspot.com）上托管的站点（我们为它们分配了特殊设置）。要检查抓取速度设置，请登录网站站长工具，然后访问“设置”标签。如果您还有其他问题，请访问网站站长帮助中心，以了解有关Google如何抓取您的网站的更多信息，或在网站站长帮助论坛中发布您的问题。
除此之外，您可能需要创建自己的过滤系统，以嗅探其用户代理，并基于其用户代理来允许或拒绝搜索引擎机器人。但这只会影响降低频率。
要回答问题的第二部分，您可以使用网站站长工具告诉Google
更改爬网速率：
在网站站长工具主页上，单击所需的网站。
在“站点配置”下，单击“设置”。
在抓取速度部分，选择所需的选项。
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=zh_CN
在Bing常见问题上，它引用此帖子，它建议设置Crawl-Delay: Xx，其中x是每个请求之间等待的秒数。
当然，站点地图会指示页面更改的频率。