python - 我可以将子流程映射到运行主流程的同一个multiprocessing.Pool吗？

我multiprocessing在python3中是一个相对较新的世界，因此，如果以前曾问过这个问题，我感到抱歉。我有一个脚本，该脚本从N个元素的列表中对每个元素运行整个分析，并将每个映射到不同的进程。

我知道这是次优的，实际上我想提高多处理效率。我曾经map()将每个进程都运行到，Pool()其中可以包含用户通过命令行参数指定的尽可能多的进程。

代码如下所示：

max_processes = 7 
# it is passed by command line actually but not relevant here

def main_function( ... ):

    res_1 = sub_function_1( ... )
    res_2 = sub_function_2( ... )

if __name__ == '__main__':

    p = Pool(max_processes)
    Arguments = []

    for x in Paths.keys():
        # generation of the arguments
        ... 
        Arguments.append( Tup_of_arguments )

    p.map(main_function, Arguments)

    p.close()
    p.join()

如您所见，我的流程调用了一个main函数，该main函数依次调用了许多其他函数。现在，每个sub_functions都是可多重处理的。我可以将那些子功能映射到主程序运行所在的同一个池吗？

查看更多