当我尝试使用Jsoup解析许多HTML文档时,出现SocketTimeoutException。
例如,我得到了一个链接列表:
<a href="www.domain.com/url1.html">link1</a>
<a href="www.domain.com/url2.html">link2</a>
<a href="www.domain.com/url3.html">link3</a>
<a href="www.domain.com/url4.html">link4</a>
对于每个链接,我都会解析链接到URL的文档(来自href属性),以获取这些页面中的其他信息。
因此,我可以想象这需要花费很多时间,但是如何关闭此异常呢?
这是整个堆栈跟踪:
java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(Unknown Source)
at java.io.BufferedInputStream.fill(Unknown Source)
at java.io.BufferedInputStream.read1(Unknown Source)
at java.io.BufferedInputStream.read(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
at java.net.HttpURLConnection.getResponseCode(Unknown Source)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:381)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:364)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:143)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:132)
at app.ForumCrawler.crawl(ForumCrawler.java:50)
at Main.main(Main.java:15)
谢谢朋友!
编辑: 哼...对不起,刚刚找到解决方法:
Jsoup.connect(url).timeout(0).get();
希望对其他人有用... :)
3
您在编辑中添加的代码将超时设置为无限。在大多数用例中,这是不希望的。即使超时时间很长,也最好使用MarcoS答案中所示的特定超时时间。
—
stepanian 2014年
我想这
—
伊万·胡
timeout(0)
会使Jsoup一次又一次地连接URL,直到连接为止。