Google如何抓取我的403页？

我的学校文件夹中的目录中有几个私人文件。您可以通过转到myschool.edu/myusername/myfolder来查看文件是否存在，但是尝试通过myschool.edu/myusername/myfolder/myfile.html访问文件本身会返回403错误。

但是Google以某种方式设法获取了这些私有文件的内容，并将其存储在其缓存中！这怎么可能？[此后我已经删除了这些文件，所以我很好奇Google如何做到这一点。]

最可能的原因是页面不会返回403标头。

您可以使用Firefox或Chrome中的Web开发人员工具栏进行检查。该工具位于“信息”->“查看响应标题”下。

另外，我创建错误页面的方式是：

1. 我创建一些虚拟错误页面。假设403.php。
2. 我创建一个实际的错误页面。例如error403.php。
3. 在虚拟错误页面上，我输入了以下代码： <?php header("Location: /error403.php",TRUE,301); ?>

4. 在我的.htaccess文件中，输入以下内容：

   Options -Indexes

   ErrorDocument 403 /403.php

这将以适当的方式添加所有重定向，并确保我从错误页面中得到了一些帮助。

如果您的网站有一个使用GET请求的搜索引擎，则可以用一种非常酷的方式扩展它。