Google不会抓取CDN文件

我注意到Google网站站长工具报告了我网站上很多被阻止的资源。现在，所有“被阻止的资源”都是我从Cloudfront CDN提供的.css，.js和图像（.jpg，.png）。

我花了很多时间进行测试，并试图找出Google为什么不抓取这些文件并报告“资源阻止”状态的原因。

目前，我从多个主机名提供这些文件，例如：cdn1.example.com，cdn2.example.com，...

cdn1，cdn2和其他名称是CCloud的Cloudfront发行名称。

测试：我尝试直接使用cloudfront发行版（无CNAME），但问题仍然存在。

目前，我的robots.txt如下所示：

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

#Google images
User-agent: Googlebot-Image
Disallow: /

User-agent: *
Disallow: /homepage
Disallow: /index.php*
Disallow: /uncategorized*
Disallow: /tag/*
Disallow: *feed
Disallow: */page/*
Disallow: *author*
Disallow: *archive*
Disallow: */category*
Disallow: *tag=*
Disallow: /test*
Allow: /

以及在一个示例页面中阻止的文件示例：

• cdn1.example.com/wp-content/plugins/wp-forecast/wp-forecast-default.css

• cdn9.example.com/wp-content/plugins/bwp-minify/min/?f=wp-content/themes/magazine/css/font-awesome.min.css,wp-content/themes/magazine/css/response .css

• cdn5.example.com/wp-content/themes/magazine/images/nobg.png

• cdn6.example.com/wp-content/plugins/floating-social-bar/images/fsb-sprite.png

• cdn5.example.com/wp-content/uploads/2013/11/Design-Hotel-3-80x80.jpg

• cdn5.example.com/wp-content/uploads/2013/11/Marta-Hotel-7-270x225.jpg

我什至尝试允许robots.txt中的所有内容，但我总是得到相同的结果。

我也一直在仔细查看Amazon中的CloudFront设置，没有发现任何可能相关的信息（我从未使用过，也从未使用过以下选项：“限制查看者访问权限（使用签名URL或签名Cookie）”。

现在，我已经花了很多时间研究这个问题，没有更多的想法了。

有人可以想到导致Googlebot被阻止对Amazon CloudFront中托管的文件进行爬网的原因吗？

因此，解决方案似乎是Amazon Cloudfront还评估了我的身份，robots.txt并以某种方式使用了与Google不同的语法规则。

我的工作版本robots.txt如下：

User-agent: Googlebot-Image
Disallow: /
User-agent: *
Disallow: /homepage
Disallow: /uncategorized
Disallow: /page
Disallow: /category
Disallow: /author
Disallow: /feed
Disallow: /tags
Disallow: /test

需要特别注意的一点是，它没有执行与以前完全相同的功能。实际上，我删除了所有空行，通配符和“ allow”指令。意味着最终结果是不一样的...但是我认为对我来说足够接近。例如，当在查询字符串中传递时，它不会排除标签页...

三个重要说明：

1. 如果您正在使用此功能进行测试，请不要忘记robots.txt在每次迭代的Cloudfront发行版中使其无效。仅仅检查是否为您提供了最新版本是不够的。

2. 我在任何地方都找不到robot.txt亚马逊Cloudfront可以理解的语法定义。因此，这是反复试验。

3. 要测试结果，请使用Google网站管理员的“获取和呈现”工具及其移动友好的测试器（https://www.google.com/webmasters/tools/mobile-friendly/）

我不明白Cloudfront为什么要验证和评估我的产品robots.txt。此文件对我和我的网站的爬网程序是“一笔交易”。亚马逊没有中间业务。和我在一起robots.txt只是愚蠢的。

我从未想到Cloudfront可能是我的第二robots.txt句猜测。

在存储桶中创建robots.txt。

为您的Cloudfront发行版创建另一个来源。

将存储桶的优先级设置为高于网站的优先级。

使您的网站在Cloudfront上的robots.txt无效。

完成上述操作后，Google会在抓取您的网站时读取网站robots.txt，而在您访问CDN的链接时，便会看到不同的robots.txt。

Google不会阻止使用主站点根目录中的robots.txt索引外部资源。使用子域，将CDN或其他域分类为外部域，因此，阻止内容的唯一方法是在CDN本身提供的文件上使用标头响应，或者在CDN或子域上使用robots.txt 。

使用：

#Google images
User-agent: Googlebot-Image
Disallow: /

应该只阻止本地图像，您将需要在CDN上执行相同的操作。

可能是标题响应问题，您应该对CDN上的一个文件执行“ CURL”。它看起来应该像这样：

HTTP/1.0 200 OK
Cache-Control: max-age=86400, public
Date: Thu, 10 May 2012 07:43:51 GMT
ETag: b784a8d162cd0b45fcb6d8933e8640b457392b46
Last-Modified: Tue, 08 May 2012 16:46:33 GMT
X-Powered-By: Express
Age: 7
Content-Length: 0
X-Cache: Hit from cloudfront
X-Amz-Cf-Id: V_da8LHRj269JyqkEO143FLpm8kS7xRh4Wa5acB6xa0Qz3rW3P7-Uw==,iFg6qa2KnhUTQ_xRjuhgUIhj8ubAiBrCs6TXJ_L66YJR583xXWAy-Q==
Via: 1.0 d2625240b33e8b85b3cbea9bb40abb10.cloudfront.net (CloudFront)
Connection: close

要注意的事情是：

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: googlebot: noindex

发现了问题：CloudFront读取robots.txt并阻止提供内容，但是我想它解析了一些与机器人应该有的区别。

例如，robots.txt上的以下内容：

Disallow: */wp-contents/ Allow: */wp-contents/themes/

当Googlebot自行获取时，它会对其进行索引；当CloudFront读取它时，它不会考虑“允许”指令，并且禁止在内部提供任何服务*/wp-contents/themes/。

简短的答案：检查您CloudFront发行版上的robots.txt，这可能是问题所在。无效并使用正确的版本更新它，它应该可以工作！