发送日志到Graylog2服务器

我刚刚设置了Graylog2服务器，并且希望将所有日志从主服务器发送到Graylog服务器。我已启用主服务器的日志记录，并通过添加*.* @logs.example.com:1337到将日志发送到我的Graylog服务器/etc/rsyslog.conf。

我想要的是让Graylog2收集我所有的Apache日志，系统日志（用于SSH登录，拒绝登录）以及我需要监视的所有其他日志。

对于Apache日志，我也想要Rails日志。我的站点位于/srv/www/，然后结构为sitename.com/public_html和sitename.com/logs。我在服务器上有很多站点，我想以一种简单的方法查看所有错误并从中找出一些漂亮的图形，因此为什么我要使用Graylog2 ...

logs文件夹中的日志文件是access.log和error.log。

Rails日志将在中sitename.com/public_html/log。这包含production.log。

这是旧的，但我想我会写这种方法用于低流量/中流量站点（不知道对于高流量站点是否适用）：

在Apache中，我定义了一个CustomLog格式graylog2_access，该格式将访问日志格式化为GELF格式，然后通过将日志数据通过nc传递给Graylog2的输入，从而通过Graylog2发送我的日志。

这是它创建的自定义格式（人类可读）：

{ 
 "version": "1.1",
 "host": "%V",
 "short_message": "%r",
 "timestamp": %{%s}t,
 "level": 6,
 "_user_agent": "%{User-Agent}i",
 "_source_ip": "%a",
 "_duration_usec": %D,
 "_duration_sec": %T,
 "_request_size_byte": %O,
 "_http_status": %s,
 "_http_request_path": "%U",
 "_http_request": "%U%q",
 "_http_method": "%m",
 "_http_referer": "%{Referer}i"
}

对于Apache配置，这是一个复制/粘贴版本：

LogFormat "{ \"version\": \"1.1\", \"host\": \"%V\", \"short_message\": \"%r\", \"timestamp\": %{%s}t, \"level\": 6, \"_user_agent\": \"%{User-Agent}i\", \"_source_ip\": \"%a\", \"_duration_usec\": %D, \"_duration_sec\": %T, \"_request_size_byte\": %O, \"_http_status\": %s, \"_http_request_path\": \"%U\", \"_http_request\": \"%U%q\", \"_http_method\": \"%m\", \"_http_referer\": \"%{Referer}i\" }" graylog2_access

然后在您的主机配置中：

CustomLog "|nc -u graylogserver 12201" graylog2_access

您还可以使用以下简单命令将日志文件发送到graylog2服务器：

tail -F -q $yourlogfile |   while read -r line ; do   echo "<7> $hostnamesendingthelog $line" | nc -w 1 -u $graylogserver 514;   done;

我主要将其用于测试目的，以确定我的日志格式是否适用于graylog2中的轻松查询。对于生产用途，您将不需要设置rsyslog或syslog-ng。

您可能可以拖尾Rails日志文件，看看会发生什么。

Graylog2仅接受两种格式的日志：标准syslog和Graylog扩展日志格式（aka GELF）。磁盘上的任意日志将需要一些第三方过程来使用日志，并将其转换为对您有用的格式。

看一下Logstash。大多数人将其视为使用ElasticSearch索引日志文件的工具，但它也包含通用的“日志路由器”，可让您在磁盘上拖尾一堆文件并将其发送到类似Graylog的日志记录组件。

您可以从此处使用apache2gelf脚本。