在管道链中使用jq不会产生任何输出

jq网上讨论了重定向输出时需要显式过滤器的问题。但是jq，即使在使用显式过滤器的情况下，如果它是管道链的一部分，我也无法重定向输出。

考虑：

touch in.txt
tail -f in.txt | jq '.f1'
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

不出所料，该jq命令在原始终端中的输出为：

1
3

但是，如果在jq命令末尾添加任何类型的重定向或管道，则输出将变为静默：

rm in.txt
touch in.txt
tail -f in.txt | jq '.f1' | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

第一个终端中没有输出，out.txt为空。

我已经尝试了数百种变体，但这是一个难以捉摸的问题。通过The Things Network（也是我发现问题的地方）发现的，我发现的唯一解决方法mosquitto_sub是将tail 和 jq函数包装在shell脚本中：

#!/bin/bash
tail -f $1 | while IFS='' read line; do
echo $line | jq '.f1'
done

然后：

./tail_and_jq.sh | tee out.txt
# in a different terminal:
echo '{"f1":1,"f2":2}' >> in.txt
echo '{"f1":3,"f2":2}' >> in.txt

确实，输出出现：

1
3

这是jq通过Homebrew安装的最新版本：

$ echo $SHELL
/bin/bash
$ jq --version
jq-1.5
$ brew install jq
Warning: jq 1.5_3 is already installed and up-to-date

是jq我对管道链的理解还是我的理解（主要是未记录的错误）？

jq当标准输出通过管道传输时，来自的输出将被缓冲。

要请求jq在每个对象之后刷新其输出缓冲区，请使用其--unbuffered选项，例如

tail -f in.txt | jq --unbuffered '.f1' | tee out.txt

从jq手册中：

--unbuffered

在打印每个JSON对象之后刷新输出（如果您将缓慢的数据源传递到其他地方jq并传递输出，则很有用jq）。

您在这里看到的是C stdio缓冲的作用。它将输出存储在缓冲区中，直到达到一定限制（可能为512字节，或4KB或更大），然后立即发送所有输出。

如果stdout连接到终端，则该缓冲将自动禁用，但是当它连接到管道（例如您的情况）时，它将启用此缓冲行为。

禁用/控制缓冲的常用方法是使用setvbuf()函数（有关更多详细信息，请参见此答案），但这需要在其jq自身的源代码中完成，因此可能对您而言不切实际。

有一种解决方法……（黑客可能会说。）有一个名为“ unbuffer”的程序，该程序与“ expect”一起分发，可以创建一个伪终端并将其连接到程序。因此，即使jq仍在写入管道，它也会认为它正在写入终端，并且缓冲效果将被禁用。

如果尚未安装“ expect”软件包，则应随附“ unbuffer”软件包...例如，在Debian（或Ubuntu）上：

$ sudo apt-get install expect

然后，您可以使用以下命令：

$ tail -f in.txt | unbuffer -p jq '.f1' | tee out.txt

有关“ unbuffer”的更多详细信息，另请参见此答案，您也可以在此处找到手册页。