为什么仙人掌会继续等待无效的轮询程序？

11

我目前正在设置新的Debian（6.0.5）服务器。昨天我在上面放了仙人掌（0.8.7克），从那以后一直在努力。

创刊号

我观察到的最初问题是图表没有更新。因此，我检查了我的内容cacti.log，发现了以下与该消息有关的信息：

POLLER: Poller[0] Maximum runtime of 298 seconds exceeded. Exiting.

那不是很好，对吧？因此，我去检查并开始poller.php自己（通过sudo -u www-data php poller.php --force）。它将弹出很多消息（看起来都与我期望的一样），然后挂起一分钟。1分钟后，它将循环显示以下消息：

Waiting on 1 of 1 pollers.

此过程将持续4分钟，直到该过程因运行时间超过298秒而被强制终止。

到现在为止还挺好

我花了一个小时的时间来尝试确定可能仍在运行的轮询器，直到得出结论就是根本没有正在运行的轮询器。

调试

我检查poller.php了该警告的发出方式以及原因。在第368行，Cacti将从数据库中检索完成的进程数，并使用该值来计算仍在运行的进程数。所以，让我们看看这个价值！

我将以下调试代码添加到poller.php：

$finished_processes = db_fetch_cell("SELECT count(*) FROM cacti.poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00'");
print "Finished: " . $finished_processes . " - Started: " . $started_processes . "\n";

结果

这将在开始的一秒钟内打印以下内容poller.php：

Finished: 0 - Started: 1
Waiting on 1 of 1 pollers.
Finished: 1 - Started: 1

因此，这些值正在读取且有效。直到我们继续循环的那一部分：

Finished:  - Started: 1
Waiting on 1 of 1 pollers.

突然，价值消失了。为什么？放在var_dump()那里可以确认问题：

NULL
Finished:  - Started: 1
Waiting on 1 of 1 pollers.

返回值为NULL。查询时怎么可能SELECT COUNT()...？（SELECT COUNT()应该总是返回一个结果行，不是吗？）

更多调试

所以我走进去lib\database.php看看db_fetch_cell()。经过一点测试，结果集实际上是空的。

因此，我在其中添加了自己的数据库查询代码，以了解该怎么做：

$finished_processes = db_fetch_cell("SELECT count(*) FROM poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00'");
print "Finished: " . $finished_processes . " - Started: " . $started_processes . "\n";

$mysqli = new mysqli("localhost","cacti","cacti","cacti");
$result = $mysqli->query("SELECT COUNT(*) FROM poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00';");
$row = $result->fetch_assoc();
var_dump( $row );

这将输出

Finished:  - Started: 1
array(1) {
  ["COUNT(*)"]=>
  string(1) "2"
}
Waiting on 1 of 1 pollers.

那么，数据在那里并且可以毫无问题地访问，只是不使用仙人掌使用的方法？

仔细检查！

我启用了MySQL日志记录以确保我没有想象任何事情。果然，当错误消息循环时，cacti.log读取的内容就像是在疯狂地查询：

06/29/2012 08:44:00 PM - CMDPHP: Poller[0] DEVEL: SQL Cell: "SELECT count(*) FROM cacti.poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00'"
06/29/2012 08:44:01 PM - CMDPHP: Poller[0] DEVEL: SQL Cell: "SELECT count(*) FROM cacti.poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00'"
06/29/2012 08:44:02 PM - CMDPHP: Poller[0] DEVEL: SQL Cell: "SELECT count(*) FROM cacti.poller_time WHERE poller_id=0 AND end_time>'0000-00-00 00:00:00'"

但是，没有这些查询都是由MySQL的记录。但是，当我添加自己的数据库查询代码时，它显示得很好。

在此处输入图片说明
点击放大

这里到底发生了什么？

深层发掘...

我得出的结论是，数据库连接必须在进程中的某个位置丢失，而adodb根本不在乎。

因此，经过一番挖掘，我终于将调试消息放在函数的drivers/adodb-mysql.inc.php第529行中_close。我想看看何时关闭连接。

我实际上（最后）打开了PHP调试，并意识到mysql_query()使用布尔连接ID（有意关闭的连接的指示）进行了调用。

// returns true or false
function _close()
{
    @mysql_close($this->_connectionID);
    echo "!!!! CLOSED !!!!\n";
    debug_print_backtrace();
    $this->_connectionID = false;
}

那印什么？

oliver@j27773:/etc/php5/conf.d$ sudo -u www-data php /usr/share/cacti/site/poller.php --force
06/30/2012 01:33:49 AM - POLLER: Poller[0] NOTE: Poller Int: '60', Cron Int: '300', Time Since Last: '61', Max Runtime '298', Poller Runs: '5'
06/30/2012 01:33:49 AM - POLLER: Poller[0] DEBUG: About to Spawn a Remote Process [CMD: /usr/bin/php, ARGS: -q "/usr/share/cacti/site/cmd.php" 0 3]
Finished: 0 - Started: 1
Waiting on 1 of 1 pollers.
Finished: 1 - Started: 1
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_apache_sb_keepalive_100.rrd --template apache_sb_keepalive 1341012829:0
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_apache_reqpersec_95.rrd --template apache_reqpersec 1341012829:.0228409
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_apache_bytesperreq_90.rrd --template apache_bytesperreq 1341012829:13925.7
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_cpu_85.rrd --template cpu 1341012829:1
OK u:0.00 s:0.00 r:1.00
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_hdd_used_80.rrd --template hdd_used:hdd_total 1341012829:924741632:2677886976
OK u:0.00 s:0.00 r:1.00
OK u:0.00 s:0.01 r:1.00
OK u:0.00 s:0.01 r:1.00
06/30/2012 01:33:50 AM - POLLER: Poller[0] CACTI2RRD: /usr/bin/rrdtool update /var/lib/cacti/rra/j27773_servers_jiffybox_net_apache_sb_wait_105.rrd --template apache_sb_wait 1341012829:9
OK u:0.00 s:0.01 r:1.00
OK u:0.00 s:0.01 r:1.00
06/30/2012 01:33:50 AM - SYSTEM STATS: Time:1.1261 Method:cmd.php Processes:1 Threads:N/A Hosts:2 HostsPerProcess:2 DataSources:7 RRDsProcessed:6
Loop  Time is: 1.1291718482971
Sleep Time is: 58.867464065552
Total Time is: 1.1325359344482
!!!! CLOSED !!!!
#0  ADODB_mysql->_close() called at [/usr/share/php/adodb/adodb.inc.php:2141]
#1  ADOConnection->Close() called at [/usr/share/cacti/site/lib/database.php:68]
#2  db_close() called at [/usr/share/cacti/site/poller.php:455]
^C06/30/2012 01:33:55 AM - CMDPHP: Poller[0] WARNING: Cacti Master Poller process terminated by user

现在我太累了，无法调查...

php  debian-squeeze  cacti 
— 霍斯特斯塔普勒
source

Answers:

6

我做了进一步的研究，并意识到有意关闭与数据库的连接。应该为下一次轮询运行重新建立连接。但事实并非如此。

以下是摘录poller.php：

if ($poller_runs_completed < $poller_runs) {
    db_close();
    // Debug message by myself
    echo "RECONNECTING IN " . $sleep_time . "\n";
    usleep($sleep_time * 1000000);
    db_connect_real($database_hostname, $database_username, $database_password, $database_default, $database_type, $database_port);
}

我还检查了db_connect_real它，实际上是在usleep完成之后调用。所以这就是我将继续挖掘的地方。

暂时，我修改了以下部分：

if ($poller_runs_completed < $poller_runs) {
    //db_close();
    // Debug message by myself
    echo "RECONNECTING IN " . $sleep_time . "\n";
    usleep($sleep_time * 1000000);
    //db_connect_real($database_hostname, $database_username, $database_password, $database_default, $database_type, $database_port);
}

现在，轮询器运行时没有任何警告，并且正在绘制我的图形。然而，仍然存在一个问题。从下图可以看出，并非我的所有图形都正确绘制了：

呈现的图形显示了解决方法的结果
点击放大

我认为这是由于轮询器对于某些数据源而言很少运行。为了解决这个问题，我切换到了spine（无论如何我想这样做）并将其设置为使用4个线程。

仙人掌轮询器配置

到现在为止还挺好...

更新资料

我对这个问题进行了更深入的研究，并认为自己已解决它。我认为在轮询器重新尝试连接后，连接没有正确存储。

我最初尝试解决该问题的尝试看起来很有希望，但是生成的图形仍然存在错误。所以问题就更深了。

我之前开发并在此答案中提出的解决方法仍然可以正常使用。我决定不再在此问题上花费更多的时间，而是继续解决。抱歉。

— 霍斯特斯塔普勒
source
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.