Python并行运行不局限于main函数

当使用Python的multiprocessing.Pool进行进程并行运行时，通常会将代码放置在__name__=="__main__"条件内。然而，如果不希望将代码限制在此处，可以在模块或函数中执行并行运行。

原因

官网指出，当使用ProcessPoolExecutor时，必须在__name__=="__main__"条件下运行。这是因为multiprocessing使用fork方法创建进程，而fork仅适用于主进程。

立即学习“Python免费学习笔记（深入）”；

替代方法

以下方法可用于在不使用main函数的情况下执行并行运行：

• 使用ThreadPoolExecutor：ThreadPoolExecutor使用线程池而不是进程，因此不需要__name__=="__main__"条件。
• 在Linux系统上使用spawn：spawn方法创建进程适用于Linux系统，并且不使用fork。因此，在Linux系统上，可以将并行运行代码放在模块中。
• 参考stackoverflow答案：该答案提供了针对不同操作系统的具体解决方案。

补充

如果使用spawn方法，则会检查是否在__name__=="__main__"条件下运行。如果不满足此条件，则会创建一个新的进程，并且getattr(process.current_process(), '_inheriting', False)的值为True。

通过理解这些机制，开发人员可以在不局限于main函数的情况下利用Python进行并行运行。