【爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题

报错解释：

这个错误表示requests库在尝试连接到指定的URL时超过了最大重试次数。默认情况下，requests会在连接失败时重试几次，如果在指定的重试次数内都无法成功连接到服务器，则会抛出此错误。

解决方法：

1. 增加重试次数：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
 
session = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])
session.mount('http://', HTTPAdapter(max_retries=retries))
session.mount('https://', HTTPAdapter(max_retries=retries))
 
response = session.get('http://example.com')

在这个例子中，我们通过Retry类设置了最大重试次数为5次，并且在遇到500, 502, 503, 504这几个错误码时会自动重试。

2. 检查网络连接：

   确保你的网络连接没有问题，如果是暂时的网络问题导致的连接失败，增加重试次数可能会解决问题。

3. 检查URL：

   确认你尝试访问的URL是正确的，并且服务器是可达的。

4. 检查服务器状态：

   如果你有权限访问服务器，检查服务器的状态，确认服务器没有宕机或正在维护。

5. 使用代理：

   如果你在一个网络环境中，可能需要设置代理来访问外部服务器。

6. 调整超时时间：

   有时候网络延迟导致的连接超时也会引起这个错误，可以尝试增加请求的超时时间。

response = requests.get('http://example.com', timeout=10)

7. 异常处理：

   在代码中加入异常处理，以便在遇到此类错误时能够优雅地处理。

try:
    response = requests.get('http://example.com')
except requests.exceptions.RequestException as e:
    print(e)

根据具体情况选择合适的解决方法。