如何在 Python 进程池中创建子进程?

ID:20777 / 打印

如何在 python 进程池中创建子进程?

在 python 进程池中创建子进程

在使用进程池并行处理任务时,有时我们需要在子进程中创建新的子进程。然而,默认情况下,进程池内的进程无法创建子进程。本文将介绍如何解决这一限制。

使用 multiprocessing.forkserver 模块

可以通过使用 multiprocessing.forkserver 模块来允许进程池中的进程创建子进程。该模块提供了一个 shim,允许父进程将任务分发给子进程,而子进程可以在其自己的地址空间中创建子进程。

立即学习“Python免费学习笔记(深入)”;

以下是修改后的代码示例:

from multiprocessing import Pool, Process, forkserver import time   def print_run(msg):     print('msg.%s' % msg)     time.sleep(2)   def print_log(msg):     p = Process(target=print_run,                 args=(msg,))     p.start()     p.join()     print('msg is : %s' % msg)     time.sleep(1)   def set_multprocess():     # 使用 forkserver 来允许子进程创建子进程     forkserver.start(set_forkserver_parallelism)      pool = Pool(processes=10)     for i in range(20):         pool.apply_async(func=print_log, args=(str(i),))      pool.close()     pool.join()     print('finished')   # 设置 forkserver 的并行度 def set_forkserver_parallelism(n):     """Set the parallelism to be n * number of processes."""     n = max(n, 1)     forkserver.set_forkserver_ parallelism(n)  if __name__ == '__main__':     set_multprocess()

通过添加 forkserver.start(set_forkserver_parallelism),我们在运行进程池之前初始化了 forkserver 模块。并且,我们通过调用 set_forkserver_parallelism(n) 来设置 forkserver 的并行度,以控制允许创建的子进程数量。

上一篇: 使用 torchtext 的 Multi30k 数据集时,如何解决 UnicodeDecodeError?
下一篇: Python中的星号表达式:如何正确使用*进行数据结构拆分?

作者:admin @ 24资源网   2025-01-14

本站所有软件、源码、文章均有网友提供,如有侵权联系308410122@qq.com

与本文相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。