Questions tagged «robots.txt»

我可以在robots.txt中为站点地图文件写以下相对URL吗？ sitemap: /sitemap.ashx 还是我必须使用站点地图文件的完整（绝对）URL，例如： sitemap: http://subdomain.domain.com/sitemap.ashx 为什么我想知道： 我拥有一个新的博客服务www.domain.com，该服务允许用户在accountname.domain.com上进行博客。 我使用通配符，因此所有子域（帐户）都指向：“ blog.domain.com”。 在blog.domain.com中，我放置了robots.txt，以便搜索引擎找到站点地图。但是由于通配符，所有用户帐户共享相同的robots.txt文件，这就是为什么我不能使用第二种选择的原因。现在，我无法对txt文件使用url重写。（我想IIS的更高版本可以解决这个问题？）

191 seo  sitemap  robots.txt 

robots.txtGoogle网站管理员工具中的“ 我的” 显示以下值： User-agent: * Allow: / 这是什么意思？我没有足够的知识，所以寻求您的帮助。我想允许所有机器人抓取我的网站，这是正确的配置吗？

116 robots.txt 

是否有任何聪明的解决方案将静态文件存储在Flask的应用程序根目录中。robots.txt和sitemap.xml有望在/中找到，所以我的想法是为它们创建路由： @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response 必须有一些更方便的方法：）

94 python  flask  static  mod-wsgi  robots.txt 

我希望Google忽略这样的网址： http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 所有具有参数dir，order和price的url都应忽略，但是我没有使用Robots.txt的经验。 任何想法？

76 seo  robots.txt 

我目前正在使用Express（Node.js）构建的应用程序，我想知道在不同环境（开发，生产）下处理不同robots.txt的最聪明方法是什么。 这是我现在所拥有的，但是我对解决方案不满意，我认为它很脏： app.get '/robots.txt', (req, res) -> res.set 'Content-Type', 'text/plain' if app.settings.env == 'production' res.send 'User-agent: *\nDisallow: /signin\nDisallow: /signup\nDisallow: /signout\nSitemap: /sitemap.xml' else res.send 'User-agent: *\nDisallow: /' （注意：这是CoffeeScript） 应该有更好的方法。你会怎么做？ 谢谢。

70 node.js  express  robots.txt 

我使用Github来存储我的一个网站的文本，但是问题是Google也在Github中为文本建立索引。因此，相同的文字将同时显示在我的网站和Github上。例如，此搜索最热门的是我的网站。第二个命题是Github存储库。 我不介意人们是否看到了源，但是我不希望Google为它建立索引（并且可能会对重复的内容进行惩罚。）除了将存储库私有化之外，还有什么方法可以告诉Google停止对它进行索引吗？ 如果使用Github Pages会发生什么？这些是源在Github存储库中的站点。他们有同样的重复问题吗？ 进行此搜索后，访问量最高的线索指向了Marpa网站，但我没有在搜索结果中看到源。怎么样？

69 github  robots.txt