不受限制robots.txt中的子目录

好的，目前我们正在限制目录/ Assets /在我们的robots.txt中被编入索引。/ Assets /目录下有一个我想索引的目录（/ Assets / product_labels /）。有没有办法允许这个目录，而不是将其移动到另一个目录？

您可以将Disallow所有“兄弟”文件和文件夹显式放到要保持打开的文件夹中。

Disallow: /Assets/Dir1
Disallow: /Assets/Dir2
Disallow: /Assets/DirN
Disallow: /Assets/File1
Disallow: /Assets/File1
Disallow: /Assets/FileN

离开/Assets/product_labels外面 - 允许它。

此列表的生成可以自动生成，但请记住，必须为要保留的每个新目录或文件执行Assets此操作。

当然，如果你是好动product_labels出来的Assets将是更清洁。

“这当前有点尴尬，因为没有”允许“字段。简单的方法是将所有文件禁止放入一个单独的目录，比如”stuff“，并将一个文件保留在该目录上方的级别中： “ - >引自：www.robotstxt.org