ELK Stack(Logstash,Elasticsearch和Kibana)与并发远程syslog服务器?


8

我正在构建一个日志分析器服务,以开始主要监视我们的pfSense防火墙,XenServer系统管理程序,FreeBSD / Linux服务器和Windows服务器。

互联网上有很多关于ELK堆栈以及如何使其良好工作的文档。但是我想以其他方式使用它,但是我不知道这是一个好的解决方案还是浪费时间/磁盘空间。

我已经有一台充当远程syslog服务器的FreeBSD 10.2机器,我的想法是将所有日志简单地集中在这台机器上,然后syslog服务器将它们转发logstash-forwarder给ELK服务器。

对我来说很明显,这种方法将提高此设置的磁盘要求,但另一方面,我将只logstash-forwarder安装一台装有守护程序的计算机,这对我来说似乎很好。

但是谈论问题。该logstash分析器匹配[host]与服务器的主机名发送日志消息,并在这种方法只存在对ELK,远程系统日志服务器“服务器”节目的。

我知道我可以自定义logstash配置文件上的设置,但是我不知道(我没有经验),这是否只是解析器上的简单设置,是否会损害整个ELK经验。

最后,我只想对我的日志记录体系结构以及它是否可以工作或者是否应该没有其他选择提供一些建议。

提前致谢,


我确定您想做的事是可行的,但是有关您在中央syslog服务器上登录的格式,日志记录速率等的详细信息将非常有用。而且,提出一个特定的问题比简单地说“我迷路了,请帮助”将使您得到更好的答复。
GregL

您是否考虑过Graylog?您可以使用graylog syslog输入将syslog提取到elasticsearch中。从那里可以使用Kibana,并且Graylog具有可用的syslog / pfsense提取器。
davey

Logstash还具有syslog输入...
GregL,2015年

Answers:


3

是。可以很host容易地使用ruby过滤器更改logstash输出中的字段。

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

在这里,我假设在syslog服务器日志中,host字段是第四个字段,其中空格是分隔符。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.