Googlebot向我们的地图定位器提交了数千个请求，并用尽了API配额

我们在客户的站点上有一个商店定位器页面。最终用户输入他们的邮政编码和搜索半径，然后我们将结果显示在Google地图上。

最近，我们开始注意到该网站已达到免费地图搜索的上限（每24小时大约25,000个），而总体流量却没有明显增加。我打开了一些其他日志记录以尝试查找问题所在。

事实证明，Googlebot正在此地图上进行数千次搜索。这是一个小样本：

2017-07-09 23：56：22,719 [7] INFO ShopLanding-[Thread 41] Google Maps：搜索到的G23收到来自66.249.66.221的确定
2017-07-09 23：56：35,469 [7]信息ShopLanding-[线程10] Google地图：搜索到的CA6从66.249.66.221接收到确定
2017-07-09 23：57：24,563 [7]信息ShopLanding-[线程48]谷歌地图：搜索到的BN14收到来自66.249.66.223的确定
2017-07-09 23：58：00,970 [7]信息ShopLanding-[Thread 42] Google Maps：搜索到的CB4收到来自66.249.66.221的确定
2017-07-09 23：58：13,064 [7]信息ShopLanding-[Thread 54] Google Maps：搜索的DY9从66.249.66.221接收到确定
2017-07-09 23：59：18,722 [7]信息ShopLanding-[线程59]谷歌地图：搜索到的TS3从66.249.66.223收到确定
2017-07-09 23：59：53,223 [7]信息ShopLanding-[Thread 49] Google Maps：搜索到的S45从66.249.66.221接收到确定

有什么办法可以阻止Google推送这么多请求？这吞噬了免费津贴的很大一部分。每天的合法搜索量似乎不足200。

编辑

该站点基于C＃ASP.NET构建。商店搜索使用的是POST，提交后该URL不会更改。我可以在明天早上发布IIS日志样本，以确认此行为。

web-crawlers google-maps

— 布吉
source

Googlebot正在搜索的商品有任何意义吗？“ G23”和“ CA6”对我没有任何意义。Googlebot通常不会向表单提交随机数据。它通常仅爬网下拉选项，预填充的数据或查询链接。网站上的这些值是否在列表中？另外，这些请求的网址是什么样的？

— 斯蒂芬·奥斯特米勒

@StephenOstermiller，它们是英国的部分邮政编码，尤其是地区标识符。这些应该是POST对AJAX的请求，不过我将检查IIS日志。

— Burgi

旁：这是什么“免费地图搜索”？

— 怀特先生'17

@SamWeaver IP解析为Google bot，并且相应的IIS日志条目具有Googlebot UserAgent。不可否认，这两者都是可以欺骗的。

— Burgi

您的商店定位器是否使用查询字符串（GET请求）？商店定位器页面的大致URL结构是什么，它随用户搜索而改变（查询字符串）吗？如果您可以更详细地解释功能/技术方面，则可以以更有效的方式进行回答。

— TopQnA

要阻止googlebot通过googlemaps搜索robots.txt，请在您的域的根目录中放置一个名为的文件。例如https://www.wikipedia.org/robots.txt

示例robots.txt：

User-agent: Googlebot
Disallow: /search-store/

/ search-store /是将请求发送到Google地图的页面。

如果碰巧是Googlebot以外的其他东西，您可以尝试使用以下方法禁用所有抓取到该页面的功能：

User-agent: *
Disallow: /search-store/

请注意，它不会停止行为不当而忽略robots.txt的脚本。

— 讽刺
source

请注意，无论如何，您都不希望Google和其他搜索引擎搜索这些页面！

— 阿里·戴维多

我不确定阻止整个搜索存储是否是正确的选择，我们可能需要了解查询字符串等。这意味着，让Google阅读但不要发送太多请求。阻止整个搜索存储应该是最后的选择。

— TopQnA

限速搜索可能是另一种选择，例如，经过25次搜索后，您需要在每次搜索之间冷却一个小时。它将阻止机器人和邪恶的人，但不会阻止常规用户。

— satibel '17

如果该页面仅用于搜索商店的位置，我怀疑首先将其编入索引是否有用。这将取决于站点结构。此外，robots.txt比花费数小时的时间限制更容易/更快（因此更便宜）来实现。@TopQnA

— satibel

好吧，商店位置对于用户来说非常重要，大多数人都参考Google中的位置来搜索商店，并且如果商店定位器可以生成带有有用信息且每个商店都有唯一URL的地图，那么对于用户。这就是为什么阻塞应该是最后的选择。

— TopQnA