我希望Google忽略这样的网址:
http://www.mydomain.com/new-printers?dir=asc&order=price&p=3
所有具有参数dir,order和price的url都应忽略,但是我没有使用Robots.txt的经验。
任何想法?
我希望Google忽略这样的网址:
http://www.mydomain.com/new-printers?dir=asc&order=price&p=3
所有具有参数dir,order和price的url都应忽略,但是我没有使用Robots.txt的经验。
任何想法?
Answers:
如果您要禁止查询字符串,请使用以下解决方案:
Disallow: /*?*
或者,如果您想更精确地查询字符串:
Disallow: /*?dir=*&order=*&p=*
您还可以将以下网址添加到robots.txt:
Allow: /new-printer$
在$
将确保只/new-printer
将被允许。
更多信息:
http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/
/new-printer
但不允许/new-printers?dir=*&order=*&p=*?
吗?
您可以使用以下几行来阻止这些特定的查询字符串参数
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=
因此,如果任何URL包含dir=
,order=
或查询字符串中的p=
任意位置,它将被阻止。
example.com?p=test
而且example.com?top=test
。
Disallow: /*?dir=* Disallow: /*?order=* Disallow: /*?p=* Disallow: /*&dir=* Disallow: /*&order=* Disallow: /*&p=*
使用Google WebMaster工具注册您的网站。您可以在其中告诉Google如何处理您的参数。
站点配置-> URL参数
您应该让包含这些参数的页面表明应该通过漫游器元标记将它们排除在索引之外。例如