设置:
Fedora 8
Apache 2.2.8
Tomcat 5.5.8
Apache正在使用AJP转发请求。
问题:
经过一段时间(完全没有常数,可能在一小时或两小时之间,或者一或几天以上),Tomcat就会崩溃。它要么停止响应,要么建立通用的“服务暂时不可用”。
诊断:
有两台服务器具有相同的设置。一个容纳一个流量较高的网站(每秒几个请求),另一个容纳低流量的网站(每几分钟请求几个)。这两个网站都是完全不同的代码库,但是它们表现出相似的问题。
在第一台服务器上,当问题发生时,所有线程慢慢开始占用,直到达到限制(MaxThreads 200)。届时服务器将不再响应(并在很长一段时间后显示服务不可用页面)。
在第二台服务器上,当问题发生时,请求将花费很长时间,并且完成后,您所看到的只是服务不可用页面。
除了提到MaxThreads问题之外,Tomcat日志不指示可能导致此问题的任何特定问题。
但是,在Apache日志中,我们看到了涉及AJP的随机消息。这是我们看到的随机消息样本(无特定顺序):
[error] (70007)The timeout specified has expired: ajp_ilink_receive() can't receive header
[error] (104)Connection reset by peer: ajp_ilink_receive() can't receive header
[error] proxy: AJP: disabled connection for (localhost)
[error] ajp_read_header: ajp_ilink_receive failed
[error] (120006)APR does not understand this error code: proxy: read response failed from 127.0.0.1:8009 (localhost)
[error] ap_proxy_connect_backend disabling worker for (localhost)
我们在流量较高的服务器上注意到的另一个奇怪的事情是,在问题开始发生之前,数据库查询所花的时间比以前更长(2000-5000毫秒,而通常为5-50毫秒)。在MaxThreads消息出现之前,这只持续2-4秒。我假设这是服务器突然处理太多数据/流量/线程的结果。
背景信息:
这两个服务器已经运行了一段时间没有出现问题。在此期间,实际上每个系统都使用两个NIC进行设置。他们将内部和外部流量分开。网络升级后,我们将这些服务器移到了单个NIC(出于安全性/简单性的考虑,建议我们使用该服务器)。更改之后,服务器开始出现这些问题。
解决方案:
显而易见的解决方案是移回两个NIC的设置。这样做的问题是它将导致网络设置复杂化,并且似乎忽略了该问题。我们希望尝试使其在单个NIC设置上运行。
搜寻各种错误消息并没有提供任何有用的信息(旧的解决方案或与我们的问题无关)。
我们已经尝试过调整各种超时时间,但这只是使服务器的运行时间稍长一些,然后才死亡。
我们不确定在哪里可以进一步诊断问题。我们仍在努力解决可能出现的问题:
1)使用AJP和Tomcat进行的设置不正确或已过时(即已知的错误?)
2)网络设置(两个NIC对一个NIC)引起混乱或吞吐量问题。
3)网站本身(没有通用代码,没有使用平台,只有带有servlet和JSP的基本Java代码)
更新1:
在遵循David Pashley的有用建议之后,我在发行过程中进行了堆栈跟踪/线程转储。我发现所有200个线程都处于以下状态之一:
"TP-Processor200" daemon prio=1 tid=0x73a4dbf0 nid=0x70dd waiting for monitor entry [0x6d3ef000..0x6d3efeb0]
at oracle.jdbc.pool.OracleConnectionCacheImpl.getActiveSize(OracleConnectionCacheImpl.java:988)
- waiting to lock <0x7e3455a0> (a oracle.jdbc.pool.OracleConnectionCacheImpl)
[further stack trace removed for brevity]
"TP-Processor3" daemon prio=1 tid=0x08f142a8 nid=0x652a waiting for monitor entry [0x75c7d000..0x75c7ddb0]
at oracle.jdbc.pool.OracleConnectionCacheImpl.getConnection(OracleConnectionCacheImpl.java:268)
- waiting to lock <0x7e3455a0> (a oracle.jdbc.pool.OracleConnectionCacheImpl)
[further stack trace removed for brevity]
奇怪的是,在200个线程中只有一个线程处于这种状态:
"TP-Processor2" daemon prio=1 tid=0x08f135a8 nid=0x6529 runnable [0x75cfe000..0x75cfef30]
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at oracle.net.ns.Packet.receive(Unknown Source)
at oracle.net.ns.DataPacket.receive(Unknown Source)
at oracle.net.ns.NetInputStream.getNextPacket(Unknown Source)
at oracle.net.ns.NetInputStream.read(Unknown Source)
at oracle.net.ns.NetInputStream.read(Unknown Source)
at oracle.net.ns.NetInputStream.read(Unknown Source)
[further stack trace removed for brevity]
可能是此线程中的Oracle驱动程序正在强制所有其他线程等待它完成。由于某种原因,它必须停留在此读取状态(服务器永远无法自行恢复,需要重新启动)。
这表明它必须与服务器和数据库之间的网络或数据库本身相关。我们正在继续进行诊断,但是任何提示都将有所帮助。