Questions tagged «logstash»

假设您有两种非常不同的日志类型，例如技术日志和业务日志，并且您想要： 使用gelf输出将原始技术日志路由到graylog2服务器， json业务日志使用专用elasticsearch_http输出存储到Elasticsearch集群中。 我知道，Syslog-NG例如，配置文件允许定义几个不同的输入，然后可以在分派输入之前对其进行单独处理。什么Logstash似乎无法做到。即使可以使用两个特定的配置文件启动一个实例，所有日志都使用相同的通道并被应用相同的处理... 是否应该运行与具有不同类型的日志一样多的实例？

95 logging  elasticsearch  logstash  graylog2 

我安装了Logstash来解析apache文件。我花了相当长的时间才能正确完成设置，而且我总是尝试使用真实的日志。我注意到（如文档所述）logstash“记住”文件中的位置。现在我的设置还可以，我希望Logstash“忘记”。这似乎比我难。我已经做了以下工作： 用过的： start_position => "beginning" 从elastissearch中删除了完整的“数据”文件夹（并先将其停止了） 查看了用logstash打开的文件，lsof -p PID并删除了所有有希望的文件（在我的情况下/tmp/jffi*.tmp） 仍然Logstash不会忘记并仅分析日志所在文件夹中的“新”文件 有任何想法吗？

91 file  logstash 

我们正在定义一种架构，以通过安装在各种计算机上的Logstash托运人收集日志信息，并在一个Elasticsearch服务器中集中索引数据并将Kibana用作图形层。我们需要在Logstash托运人和elasticsearch之间建立可靠的消息传递系统，以使交付受托。在Logstash托运人和elasticsearch之间选择Redis over RabbitMQ作为数据代理/消息传递系统时应考虑哪些因素？反之亦然？

90 elasticsearch  redis  rabbitmq  logstash 

是否可以使用Kibana查询字段的唯一/唯一计数？我将弹性搜索用作Kibana的后端。 如果是这样，查询的语法是什么？这是我要查询的指向Kibana界面的链接：http ://demo.kibana.org/#/dashboard 我正在用logstash解析nginx访问日志，并将数据存储到弹性搜索中。然后，我使用Kibana来运行查询并使图表中的数据可视化。具体来说，我想知道使用Kibana在特定时间范围内唯一IP地址的计数。

70 elasticsearch  logstash  kibana