如果我不想设置任何特殊的行为，如果我不麻烦拥有robots.txt文件，可以吗？

如果我不想设置任何特殊的行为，如果我不麻烦拥有robots.txt文件，可以吗？

还是缺乏一种有害？

缺少robots.txt文件不会有害。在robotstxt.org网站上：

允许所有机器人完全访问

用户代理：*
禁止：

（或仅创建一个空的“ /robots.txt”文件，或者根本不使用一个文件）

但是，即使您没有在robots.txt文件中指定任何内容，它也是一种将XML Sitemap的位置通知搜索引擎的好方法。您可以通过在robots.txt文件顶部添加类似于以下内容的一行来完成此操作：

站点地图：http : //www.example.com/sitemap-host1.xml

您还应该知道，没有它会在您的Web日志中创建很多404条目。

如果您没有“ robots.txt”，则错误日志将在文件上显示很多404，这可能是一种烦恼，类似于没有图标的情况。

我认为应该没问题，否则网络蜘蛛将无法索引庞大的网络。

几乎在定义上robots.txt，“ 否”与“允许所有人索引”相同robots.txt。

缺少robots.txt文件会使爬虫程序自行决定它可以做什么和不能做什么。由于只需几秒钟即可避免任何歧义，为什么不制作一个允许所有代理访问所有内容的歧义呢？

好吧，因为robots.txt包含您站点地图的地址，所以没有一个可能会造成危害。

根据您的内容，没有机械手文件应该没有问题，只要您希望网站上的每个页面都被搜索引擎索引。