Python的多处理：处理2000和处理(Python multiprocessing: deali

以下是我的多处理代码。 regressTuple大约有2000项。所以，下面的代码创建2000年左右并行处理。该程序运行时我的戴尔XPS 15个笔记本死机。

不能蟒蛇多处理库根据硬件可用性处理队列中，而不会在最短的时间内崩溃运行程序？我不能正确地这样做呢？
有没有在Python API调用来获取可能的硬件处理计数？
我如何重构使用输入变量来打通穿几次，直至完成并行线程数（硬编码）和循环的代码 -这样一来，一些实验后，我就能得到最佳的线程数。
什么是不崩溃运行在最短的时间这段代码的最佳方式。（我不能在我的实现中使用多线程）

特此我的代码：

regressTuple = [(x,) for x in regressList]
processes = []

for i in range(len(regressList)):                  
    processes.append(Process(target=runRegressWriteStatus,args=regressTuple[i]))

for process in processes: 
    process.start() 

for process in processes:
    process.join()

Answer 1:

有迹象表明，我们需要记住多件事情

纺纱工艺的数量不会被你的系统上的核心数量，但有限ulimit为你的系统中的用户ID来控制的，通过你的用户ID启动的进程总数。
核心的数目确定有多少启动过程实际上可以并行地在同一时间运行。
您的系统可以轰然由于这些进程正在运行的是做一些繁重和资源密集型的，哪个系统不能处理时，多个进程同时运行，或者你的目标函数nprocs系统上的限制已经耗尽，现在的内核不能够旋转的新系统进程。

话虽这么说，是不是即使你有一个16核英特尔SKYLAKE微架构的机器，因为在系统上创建一个新的过程不是一个重量轻的任务，因为有东西数量不管产卵多达2000的过程，是个好主意像生成的PID，分配存储器，地址空间生成，调度的过程中，上下文切换和管理的它的整个生命周期中的背景这种情况发生。所以这是一项繁重的操作为内核，以生成新的进程，

不幸的是我猜你正在尝试做的是一个CPU绑定的任务，因此，您所拥有的机器上硬件的限制。纺纱更多数目少于核心的系统上的数字过程不会在所有帮助，但创建一个进程池可能。所以基本上你想创建尽可能多数量的进程池有您的系统上的核心，然后通过输入到池中。像这样的事情

def target_func(data):
    # process the input data

with multiprocessing.pool(processes=multiprocessing.cpu_count()) as po:
    res = po.map(f, regressionTuple)