如何强制Logstash重新解析文件？

我安装了Logstash来解析apache文件。我花了相当长的时间才能正确完成设置，而且我总是尝试使用真实的日志。我注意到（如文档所述）logstash“记住”文件中的位置。现在我的设置还可以，我希望Logstash“忘记”。这似乎比我难。我已经做了以下工作：

• 用过的： start_position => "beginning"

• 从elastissearch中删除了完整的“数据”文件夹（并先将其停止了）

• 查看了用logstash打开的文件，lsof -p PID并删除了所有有希望的文件（在我的情况下/tmp/jffi*.tmp）

仍然Logstash不会忘记并仅分析日志所在文件夹中的“新”文件

有任何想法吗？

默认情况下，logstash将位置最后一次写入通常位于的日志文件中$HOME/.sincedb。通过指定/dev/null为，可以使Logstash相信自己从未解析过日志文件sincedb_path。

这里是文档输入文件的一部分。

在何处写入since数据库（保留跟踪的日志文件的当前位置的跟踪）。默认为环境变量“ $ SINCEDB_PATH”或“ $ HOME / .sincedb”的值。

配置示例

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

插件文件在“ singdb”文件中的“ tailing”存储历史，默认为：$ HOME / .sincedb *下，请参阅http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

since db文件包含以下行：

[inode] [major device number] [minor device number] [byte offset]

因此，如果要再次解析完整的文件，则需要：

• 删除sindedb文件
• 或仅删除sincedb文件中的相应行，请检查文件（ls -i yourFile | awk '{print $1}'）之前的索引节点号
• 并重新启动Logstash

使用键start_position => "beginning"，Logstash将分析所有文件。

sincedb文件的示例：

• name：.sincedb_7a7413a84171aa550d5318c17fd756e9该名称包含sincedb_和关键路径（http://logstash.net/docs/1.3.3/inputs/file#path）中所有目录的MD5（Digest :: MD5.hexdigest ）。查看插件文件的代码：https : //github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash会将记录保留在中$HOME/.sincedb_*。您可以删除所有.sincedb并重新启动logstash，Logstash将重新解析该文件。

结合所有答案，猜测这是解析文件的最佳方法。我为测试做了同样的事情。

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

为了进行快速测试，ignore_older您还touch /tmp/access_log可以更改文件的时间戳，而不是。

如果您使用的是logstash-forwarder，请检查您的家中是否有.logstash-forwarder文件：

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

删除后，$HOME/.sincedb_*它仍然没有为我获取数据。

经过一堆尝试之后，我.conf从主目录中删除了除主文件之外的所有文件，/etc/logstash/conf.d然后重新启动了Logstash，一切正常。我只能假设.conflogtash静默地挂在其中一个文件中。

如果文件中包含大量数据，则实际上每次重新解析的成本都很高。因此，在执行此操作之前，您需要小心。如果我们要强制其重新解析，则在输入块内设置参数

sincedb_path => "/dev/null" 

该选项将不存储.sincedb文件，并且logstash每次都会重新解析。但是，如果您不想偶尔进行每次重新解析，那么您可以做的是手动删除在解析文件时创建的.sinceDb路径。通常，如果您不是root用户，则它以隐藏文件的形式显示在主目录中，否则，您会在根目录中显示该文件。您也可以将sincedb_path设置为其他位置，以轻松跟踪此文件。

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

如果您想避免与logstash选项混淆，我发现重命名或删除现有日志文件并从旧文件内容中创建一个新文件将使Logstash误入重新索引。

我在主目录中找到了它，但是将其删除后，logstash拒绝重新选择现有的日志文件。我的工作方式是添加

sincedb_path => "/opt/elk/sincedb/"  

到我的文件插件。我认为每次都要重置，只需更改sincedb_path的路径

如果使用tar.gz install filebeat，则可以删除此文件$FilebeatPath/data/registry/filebeat/data.json，然后重新运行filebeat

尝试通过删除/var/lib/logstashENV中的文件夹

logstash版本5的新目录位于

<path.data>/plugins/inputs/file

path.data定义在logstash.yml中