请求中的URL超过了最大重试次数

我正在尝试获取App Store> Business的内容：

import requests
from lxml import html

page = requests.get("https://itunes.apple.com/in/genre/ios-business/id6000?mt=8")
tree = html.fromstring(page.text)

flist = []
plist = []
for i in range(0, 100):
    app = tree.xpath("//div[@class='column first']/ul/li/a/@href")
    ap = app[0]
    page1 = requests.get(ap)

当我尝试range使用(0,2)它时，但是当我使用rangein 时，100它显示此错误：

Traceback (most recent call last):
  File "/home/preetham/Desktop/eg.py", line 17, in <module>
    page1 = requests.get(ap)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get
    return request('get', url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 383, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 486, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 378, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='itunes.apple.com', port=443): Max retries exceeded with url: /in/app/adobe-reader/id469337564?mt=8 (Caused by <class 'socket.gaierror'>: [Errno -2] Name or service not known)

这里发生的是itunes服务器拒绝您的连接（您在短时间内从同一ip地址发送了太多请求）

网址超出了最大重试次数：/ in / app / adobe-reader / id469337564？mt = 8

错误跟踪会误导您，应该是“由于目标计算机主动拒绝连接而无法建立连接”。

Github上有关python.requests lib的问题，请在此处查看

要克服此问题（与其说是错误的调试跟踪，不如说是一个问题），您应该捕获与连接有关的异常，如下所示：

try:
    page1 = requests.get(ap)
except requests.exceptions.ConnectionError:
    r.status_code = "Connection refused"

解决此问题的另一种方法是，如果您使用足够的时间间隔将请求发送到服务器，则可以通过sleep(timeinsec)python中的函数来实现（不要忘记导入睡眠）

from time import sleep

总而言之，请求都是很棒的python lib，希望能解决您的问题。

只需使用以下requests'功能：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry


session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

session.get(url)

这将GET是URL，如果是，将重试3次requests.exceptions.ConnectionError。backoff_factor将有助于在两次尝试之间施加延迟，以避免在定期请求配额的情况下再次失败。

看一下requests.packages.urllib3.util.retry.Retry，它有许多选项可以简化重试。

就是这样

粘贴以下代码代替page = requests.get(url)：

import time

page = ''
while page == '':
    try:
        page = requests.get(url)
        break
    except:
        print("Connection refused by the server..")
        print("Let me sleep for 5 seconds")
        print("ZZzzzz...")
        time.sleep(5)
        print("Was a nice sleep, now let me continue...")
        continue

别客气 ：）

pip install pyopenssl 似乎为我解决了。

https://github.com/requests/requests/issues/4246

我遇到了类似的问题，但是以下代码对我有用。

url = <some REST url>    
page = requests.get(url, verify=False)

“ verify = False”禁用SSL验证。尝试捕获可以像往常一样添加。

实施异常处理总是好的。它不仅有助于避免脚本意外退出，还可以帮助记录错误和信息通知。当使用Python请求时，我更喜欢捕获这样的异常：

    try:
        res = requests.get(adress,timeout=30)
    except requests.ConnectionError as e:
        print("OOPS!! Connection Error. Make sure you are connected to Internet. Technical Details given below.\n")
        print(str(e))            
        renewIPadress()
        continue
    except requests.Timeout as e:
        print("OOPS!! Timeout Error")
        print(str(e))
        renewIPadress()
        continue
    except requests.RequestException as e:
        print("OOPS!! General Error")
        print(str(e))
        renewIPadress()
        continue
    except KeyboardInterrupt:
        print("Someone closed the program")

这里的renewIPadress（）是一个用户定义函数，如果被阻止，它可以更改IP地址。您可以不使用此功能。

在公司环境中指定代理可以为我解决问题。

page = requests.get("http://www.google.com:80", proxies={"http": "http://111.233.225.166:1234"})

完整的错误是：

requests.exceptions.ConnectionError：HTTPSConnectionPool（host ='www.google.com'，port = 80）：URL超过了最大重试次数：/（由NewConnectionError（'：导致：无法建立新连接：[WinError 10060]连接尝试失败，因为连接的一方在一段时间后未正确响应，或者建立的连接失败，因为连接的主机未能响应'））

即使安装了pyopenssl并尝试了各种python版本（尽管在Mac上运行良好）后，我仍无法使其在Windows上运行，所以我切换到urllib，并且在python 3.6（来自python .org）和3.7（anaconda）上工作）

import urllib 
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
contents = html.read()
print(contents)

在编写硒浏览器测试脚本时，driver.quit()在使用JS api 调用之前进行调用时会遇到此错误。请记住退出网络驱动程序是最后要做的事情！

为以后遇到这种情况的人增加我自己的经验。我的具体错误是

Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known'

事实证明，这实际上是因为我已达到系统上打开文件的最大数量。它与失败的连接或指示的DNS错误无关。

添加我自己的经验：

r = requests.get(download_url)

当我尝试下载url中指定的文件时。

错误是

HTTPSConnectionPool(host, port=443): Max retries exceeded with url (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

我通过添加verify = False如下函数来更正了它：

r = requests.get(download_url + filename)
open(filename, 'wb').write(r.content)

添加此请求的标头。

headers={
'Referer': 'https://itunes.apple.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

requests.get(ap, headers=headers)