直到“requests”库支持指数退避的自动重试

ID:21887 / 打印

直到“requests”库支持指数退避的自动重试

您可以使用自定义的适配器,并对所有 http/https 请求强制执行指数退避因子多次重试。请参阅下面的示例:

import requests from requests import adapters from urllib3.util import retry  # create a transport adapter with a custom retry strategy. retries = retry(     total=3,     backoff_factor=3,     status_forcelist=[500, 502, 503, 504] ) adapter = adapters.httpadapter(max_retries=retries)  # ensure adapter is used for both http and https requests. session = requests.session() session.mount('https://', adapter) session.mount('http://', adapter)  # testing the retry mechanism response = session.get("http://httpbin.org/status/500") 

这将返回以下错误:

RetryError: HTTPConnectionPool(host='httpbin.org', port=80): Max retries exceeded with url: /status/500 (Caused by ResponseError('too many 500 error responses')) 

不幸的是,似乎没有办法知道上述机制尝试了多少次重试,只有当所有尝试都已用尽时

参考

https://stackoverflow.com/a/47475019/4477547

上一篇: 怎么开始做第一个python爬虫
下一篇: 使用python字典统计CSV数据的步骤和示例代码

作者:admin @ 24资源网   2025-01-14

本站所有软件、源码、文章均有网友提供,如有侵权联系308410122@qq.com

与本文相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。