为何写这篇？

1. Python是目前机器学习、深度学习与AI竞赛的主流语言。
2. 在使用Python能加比赛时，时常需要调用子进程进行并行数据处理，subprocess其中的一些坑不容易爬起来，这里为大家填坑，欢迎留言交流。

一般调用

我们使用subprocess.Popen进行如下的子进程调用：

import subprocess

cmd = ['ls']
process = subprocess.Popen(cmd, stdout=subprocess.PIPE)
for stdout_line in iter(process.stdout.readline, b''):
    print(stdout_line)
process.stdout.close()
return_code = process.wait()
if return_code:
    raise subprocess.CalledProcessError(return_code, cmd)

shell=True

但当在Windows平台下运行dir命令，报错：FileNotFoundError: [WinError 2] The system cannot find the file specified。 

解决方法：添加shell=True参数。 

原因是：dir不是单独的命令，其是CMD（Windows 的shell）的内置程序，所以加shell=True参数。 注意：仅在绝对必要时才应使用shell=True。

import subprocess

cmd = ['dir']
process = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
for stdout_line in iter(process.stdout.readline, b''):
    print(stdout_line)

实时读取子进程输出

有时，发现运行的子进程，上述代码不会即时打印输出，而是要等个几秒钟。 

原因：子进程所运行的程序没有对stdout进行flush，比如C语言的printf没有即时flush时，其打印的输出其实是在缓冲区中的，得等缓冲区满了才集体输出一次。 

解决方法： 子进程如何运行的是Python，比较简单，添加os.environ["PYTHONUNBUFFERED"] = "1"即可。如果是在Linux平台运行一般程序，添加cmd = ["stdbuf", "-oL"] + cmd即可。

如何为子进程添加环境变量

通过env=参数。 

注意：只传我们想添加的那个环境变量（比如LD_LIBRARY_PATH）是不行，子进程默认是使用很多父进程的环境变量，因此先copy父进程的环境变量，再添加我们需要的。

my_env = os.environ.copy()
my_env['LD_LIBRARY_PATH'] = '../libs/x64/'

cmd = ['command']
popen = subprocess.Popen(cmd,
                        stdout=subprocess.PIPE,
                        env=my_env)

子进程切换工作目录

有时，我们的子进程需要在特定的目录里运行。 

解决：使用cwd=环境变量。

pwd = os.path.dirname(__file__)

cmd = ['command']
popen = subprocess.Popen(cmd,
                        stdout=subprocess.PIPE,
                        cwd=os.path.join(pwd, '..', 'bin'))