仅允许Google和Bing机器人抓取网站

我正在为网站使用以下robots.txt文件：目标是允许googlebot和bingbot访问除页面之外的网站，/bedven/bedrijf/*并阻止所有其他bot爬行该网站。

User-agent: googlebot
Disallow: /bedven/bedrijf/*
Crawl-delay: 10

User-agent: google
Disallow: /bedven/bedrijf/*
Crawl-delay: 10

User-agent: bingbot
Disallow: /bedven/bedrijf/*
Crawl-delay: 10

User-agent: bing
Disallow: /bedven/bedrijf/*
Crawl-delay: 10

User-agent: *
Disallow: /

最后一条规则是否User-agent: * Disallow: /禁止所有漫游器抓取网站上的每个页面？

最后一条记录（以开头User-agent: *）之后将是所有没有将自己标识为“ googlebot”，“ google”，“ bingbot”或“ bing”的礼貌机器人。
是的，这意味着不允许他们爬行任何内容。

您可能要省略*in /bedven/bedrijf/*。
在原始的robots.txt规范中，*没有特殊含义，它只是一个与其他字符一样的字符。因此，这只会禁止抓取*在其URL 中确实包含字符的页面。
尽管Google在这方面没有遵循robots.txt规范，因为它们*用作“任何字符序列”的通配符，但在这种情况下，它们并不需要它们：/bedven/bedrijf/*并且/bedven/bedrijf/含义完全相同：阻止其路径的所有URL 开始使用/bedven/bedrijf/。

最后，您可以将robots.txt减少为两个记录，因为一条记录可以包含多User-agent行：

User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Disallow: /bedven/bedrijf/
Crawl-delay: 10

User-agent: *
Disallow: /

漫游器，尤其是不良漫游器，可能会忽略robots.txt文件。因此，无论那里写什么，有些机器人都可能会对您的网站进行爬网。