◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
Python 线程池爬虫如何解决数据紊乱问题？
ID:20804 / 打印
python 线程池爬虫中的数据紊乱问题
问题：
在使用 python 线程池进行爬虫时，少数数据会发生紊乱。已知的代码片段如下：
def get_response(): url1 = "" response1 = "" url2 = "" response2 = "" url3 = "" response3 = "" url4 = "" response4 = "" return (response1, response2, response3, response4) def parse(reslst: future): with lock: # 线程锁 res1, res2, res3, res4 = reslst.result() # 解析响应内容并存储到 excel # 多线程入口 pool = threadpoolexecutor(30) for i in range(idqueue.qsize()): sur = pool.submit(get_response, idqueue.get()) sur.add_done_callback(parse) pool.shutdown(true)
原因：
立即学习“Python免费学习笔记（深入）”；
多线程执行顺序不一致，导致在处理和解析响应时不能保证正确顺序。不同线程中的响应到达时间可能不同，影响数据处理和存储顺序。
解决方案：
使用有序队列来保存响应，并按照先到先处理的顺序进行处理。代码示例如下：
from queue import PriorityQueue class Response: def __init__(self, data, index): self.data = data self.index = index def __lt__(self, other): return self.index < other.index q = PriorityQueue() def get_response(i): # 获取响应并添加到队列 response = YourResponseFunction(i) q.put(Response(response, i)) def parse_response(q): while not q.empty(): response = q.get() # 处理响应并存储数据 parse(response.data) # 创建线程池 pool = ThreadPoolExecutor(30) # 向线程池提交任务 for i in range(idqueue.qsize()): pool.submit(get_response, i) # 用队列中的响应处理数据 parse_response(q)
在这个示例中：
- 优先队列按响应到达顺序保存响应。
- get_response 函数将响应打包成 response 对象并插入队列。
- parse_response 函数从队列中读取响应并按顺序处理。
