在robots.txt中合并用户代理

可以将用户代理一起列出，然后在robots.txt中列出其通用规则吗？

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— 大卫·康德雷
source

您为什么不使用user-agent: *“禁止”，这是有原因的吗？“允许的”用户代理列表是否比您要禁止的列表长？

— Mike Hudson

另请参见SO：是否可以在一行中列出多个用户代理？

— 2014年

是。假设正确指定了您的座席名称，则看起来应该可以正常工作。如果您想了解更多，这里是一个资源。https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— 壁橱
source

该原始的robots.txt规格一致：“如果多于一个用户代理字段是存在于记录描述了多于一个的机器人相同的访问策略”。

— Ilmari Karonen 2014年