在Express中处理robots.txt的最聪明方法是什么？

我目前正在使用Express（Node.js）构建的应用程序，我想知道在不同环境（开发，生产）下处理不同robots.txt的最聪明方法是什么。

这是我现在所拥有的，但是我对解决方案不满意，我认为它很脏：

app.get '/robots.txt', (req, res) ->
  res.set 'Content-Type', 'text/plain'
  if app.settings.env == 'production'
    res.send 'User-agent: *\nDisallow: /signin\nDisallow: /signup\nDisallow: /signout\nSitemap: /sitemap.xml'
  else
    res.send 'User-agent: *\nDisallow: /'

（注意：这是CoffeeScript）

应该有更好的方法。你会怎么做？

谢谢。

使用中间件功能。这样，robots.txt将在任何会话，cookieParser等之前进行处理：

app.use('/robots.txt', function (req, res, next) {
    res.type('text/plain')
    res.send("User-agent: *\nDisallow: /");
});

app.get现在，借助express 4可以按显示顺序处理它，因此您可以使用它：

app.get('/robots.txt', function (req, res) {
    res.type('text/plain');
    res.send("User-agent: *\nDisallow: /");
});

1.创建robots.txt具有以下内容：

User-agent: *
Disallow: # your rules here

2.将其添加到public/目录。

3.如果代码中尚不存在，请添加：

app.use(express.static('public'))

您robots.txt可以在以下位置对任何爬虫使用http://yoursite.com/robots.txt

看起来不错。

另一种选择是，如果您希望能够以robots.txt常规文件进行编辑，并且可能仅在生产或开发模式下拥有其他文件，则可以使用2个单独的目录，并在启动时激活一个或另一个。

if (app.settings.env === 'production') {
  app.use(express['static'](__dirname + '/production'));
} else {
  app.use(express['static'](__dirname + '/development'));
}

然后为每个版本的robots.txt添加2个目录。

PROJECT DIR
    development
        robots.txt  <-- dev version
    production
        robots.txt  <-- more permissive prod version

您可以继续在任一目录中添加更多文件，并使代码更简单。

（对不起，这是JavaScript，而不是coffeescript）

这就是我在索引路由上所做的。您可以简单地在代码中写下我在下面给出的内容。

router.get('/', (req, res) =>
    res.sendFile(__dirname + '/public/sitemap.xml')
)

router.get('/', (req, res) => {
    res.sendFile(__dirname + '/public/robots.txt')
})

我将robots.txt用作Prod的普通文件，并将其用作其他环境的中间件。

if(isDev || isStaging){
    app.use('/robots.txt', function (req, res) {
        res.type('text/plain');
        res.send("User-agent: *\nDisallow: /");
    });
}
app.use(express.static(path.join(__dirname, 'public')));

使用中间件方式根据环境选择robots.txt：

var env = process.env.NODE_ENV || 'development';

if (env === 'development' || env === 'qa') {
  app.use(function (req, res, next) {
    if ('/robots.txt' === req.url) {
      res.type('text/plain');
      res.send('User-agent: *\nDisallow: /');
    } else {
      next();
    }
  });
}