如何使用robots.txt禁止整个目录？

我目前在两个网站上工作，一个购物车，另一个购物者。两者都使用相同的域名，例如

http://example.com/first_url 
http://example.com/second_url 

这两个URL下方都有大量页面

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

如何禁止主URL /first_url和/second_url也和所有的子页面和子目录？我在想像这样的事情，但我不知道这是否有效以及语法是否正确

Disallow: /first_url/*/
Disallow: /second_url/*/

您不需要结尾的斜杠来阻止这些目录。这将起作用：

Disallow: /first_url/*
Disallow: /second_url/*

这个Google帮助页面对此进行了很好的介绍。

您可以将其用作默认值robots.txt：

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

星号将禁止该类别下的所有内容。您甚至可以通过键入特定的URL来禁止该类别下的特定内容。