关于python：一共运行N个job，其中M个随时并行运行


Run a total of N jobs, having M of them running in parallel at any time

我有很多作业要运行，假设是 100 个。它们可以并行运行，但每个都占用大量内存，所以我只能同时运行 8 个。

我目前有这个 shell 脚本：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u

(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u

...

这有运行第一批8个的效果，当它们都完成后，它开始下一批8个。问题是每个作业的运行时间不是恒定的，有些比其他作业更早完成，因此，对于要完成的每批 8 个进行加权并不是最佳选择，因为我实际上是在等待 8 个中最慢的一个完成。

相反，我想要一个脚本(shell 或 python)来运行我所有的 100 个作业，在任何给定时间并行运行 8 个作业，以实现最佳效率。

有什么想法可以实现吗？

相关讨论

您可以编写自己的小型调度程序，将它们分配给已完成当前任务的处理器；但在我们的中心，我们强烈建议使用 gnu 并行，它已经使用类似 xargs 的语法实现了这一点。

例如，如上所述，您可以这样做

1
2
3
4
5
6
parallel --max-procs 8 <<EOF
  python run.py $arg1
  python run.py $arg2
  python run.py $arg3
  ..
EOF

或者，如果你在一个文件中有你的参数列表，你可以做类似

1
cat args.list | parallel --max-procs 8 python run.py

根据您的需要，您可以使用许多工具。最简单的可能是使用 GNU parallel。 make 可以与其 -j 开关并行运行任务。如果您尝试运行的任务更加复杂和多样化，那么真正的排队系统可能会有所帮助，例如队列博士。还有更多工具，GNU parallel\\ 的手册页很好地列出了它们。

在我看来，您正在寻找 multiprocessing 模块，特别是 multiprocessing.Pool。

如果我这样做，我会将所有不同的参数集提供给 run.py，将您现在在顶层执行的操作package在 main(args) 函数中的 run.py 中，然后使用 Pool\\'s map 方法在所有不同的参数集上调用该方法。

它可能看起来像这样：

1
2
3
4
5
6
7
8
9
import multiprocessing

def main(args):
  # Here's where you would do what you usually do with the arguments

pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()

请注意，这假定每次运行的参数都可以保存在一个字符串中(因此 sys.argv 的一个条目)。

为什么不使用 DataStage 自己的 Workload Management？定义 M 个队列并将您的 N 个作业循环分配到这些队列中。