空的robots.txt和完全没有robots.txt之间有区别吗？

在网络服务器上，我现在不得不补充一下，我注意到robots.txt为空。我想知道在空白的robots.txt和根本没有文件之间是否有区别。

在这两种情况下，搜寻器的行为是否有所不同？因此，仅删除一个空的robots.txt是否安全？

在这两种情况下，搜寻器的行为是否有所不同？

一个robots.txt的文件，该文件是空的是真的没有从一个不是发现的不同，既没有禁止抓取。

然而，你可能会收到很多的404错误，在你的服务器日志时爬虫请求的robots.txt文件，因为在这个问题上表明这里。

因此，仅删除一个空的robots.txt是否安全？

是的，上述警告。

不，没有区别。

您的服务器日志中会出现404错误，并且如果您订阅了Google Web Master之类的工具，它可能会告诉您您还没有错，但是就爬虫机器人的行为而言，它们是相同的您关心的任何机器人。