Pythonのsubprocess.run()で同時実行をマスターする

Pythonの同時実行とsubprocess.run()

subprocess.run() は、以下の引数を受け取ります。

• args: 実行するコマンドとその引数
• stdout: 標準出力を受け取るための変数
• stderr: 標準エラーを受け取るための変数
• check: Trueの場合、コマンドが正常に終了しなかった場合はエラーが発生します。

例:

import subprocess

# "ls"コマンドを実行し、標準出力を表示
subprocess.run(["ls"])

# "ls"コマンドを実行し、標準出力を変数に格納
output = subprocess.run(["ls"], stdout=subprocess.PIPE).stdout

# "ls"コマンドを実行し、標準エラーを処理
try:
    subprocess.run(["ls", "-l", "/nonexistent_dir"])
except subprocess.CalledProcessError as e:
    print(f"エラーが発生しました: {e.output}")

同時実行

subprocess.run() を使って複数の処理を同時に実行するには、以下の方法があります。

• 複数の subprocess.run() を順番に呼び出す

import subprocess

# 3つの "ls" コマンドを順番に実行
subprocess.run(["ls", "/home/user"])
subprocess.run(["ls", "/etc"])
subprocess.run(["ls", "/var"])

• multiprocessing モジュールを使う

import subprocess
import multiprocessing

def worker(path):
    subprocess.run(["ls", path])

# 3つの "ls" コマンドを並行して実行
with multiprocessing.Pool(3) as pool:
    pool.map(worker, ["/home/user", "/etc", "/var"])

• asyncio モジュールを使う

import subprocess
import asyncio

async def worker(path):
    process = await asyncio.create_subprocess_exec("ls", path)
    await process.wait()

# 3つの "ls" コマンドを並行して実行
async def main():
    await asyncio.gather(
        worker("/home/user"),
        worker("/etc"),
        worker("/var"),
    )

asyncio.run(main())

注意点

• subprocess.run() は、サブプロセスを生成するだけです。サブプロセスの終了を待つには、wait() メソッドを使う必要があります。
• サブプロセスは、親プロセスとは独立したメモリ空間を持っています。そのため、親プロセスで変数を変更しても、サブプロセスには反映されません。
• サブプロセスは、さまざまなエラーが発生する可能性があります。エラー処理を適切に行う必要があります。

subprocess.run() は、Pythonで外部コマンドを簡単に実行できる便利な関数です。また、multiprocessing モジュールや asyncio モジュールと組み合わせることで、複数の処理を同時に実行することができます。

Pythonのsubprocess.run()を使用したサンプルコード

標準出力と標準エラーを取得する

import subprocess

# "ls"コマンドを実行し、標準出力と標準エラーを取得
process = subprocess.run(["ls", "-l", "/nonexistent_dir"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)

# 標準出力と標準エラーを表示
print(f"標準出力: {process.stdout.decode('utf-8')}")
print(f"標準エラー: {process.stderr.decode('utf-8')}")

タイムアウトを設定する

import subprocess

try:
    # タイムアウトを5秒に設定して "ls" コマンドを実行
    subprocess.run(["ls", "/nonexistent_dir"], timeout=5)
except subprocess.TimeoutExpired as e:
    print(f"タイムアウトが発生しました: {e}")

環境変数を設定する

import subprocess

# 環境変数を設定して "ls" コマンドを実行
env = os.environ.copy()
env["FOO"] = "bar"
subprocess.run(["ls"], env=env)

入力を受け渡す

import subprocess

# 入力を受け渡して "sort" コマンドを実行
process = subprocess.run(["sort"], input=b"This is a test\nAnother line\n")

# 標準出力を表示
print(process.stdout.decode('utf-8'))

複数の処理を同時に実行する

import subprocess
import multiprocessing

def worker(path):
    subprocess.run(["ls", path])

# 3つの "ls" コマンドを並行して実行
with multiprocessing.Pool(3) as pool:
    pool.map(worker, ["/home/user", "/etc", "/var"])

非同期処理

import subprocess
import asyncio

async def worker(path):
    process = await asyncio.create_subprocess_exec("ls", path)
    await process.wait()

# 3つの "ls" コマンドを並行して実行
async def main():
    await asyncio.gather(
        worker("/home/user"),
        worker("/etc"),
        worker("/var"),
    )

asyncio.run(main())

Pythonで複数の処理を同時に実行する方法

マルチスレッド

メリット:

• 処理の開始・停止が比較的軽量
• GIL (Global Interpreter Lock) の影響を受けない

デメリット:

• スレッド間で共有できるデータ構造に制限がある
• デバッグが難しい

import threading

def worker(n):
    print(f"スレッド {n} が開始されました")
    # 処理
    print(f"スレッド {n} が終了しました")

# 3つのスレッドを作成して実行
for i in range(3):
    thread = threading.Thread(target=worker, args=(i,))
    thread.start()

マルチプロセス

メリット:

• デバッグが比較的簡単

デメリット:

• 処理の開始・停止にオーバーヘッドがある
• GIL の影響を受ける

import multiprocessing

def worker(n):
    print(f"プロセス {n} が開始されました")
    # 処理
    print(f"プロセス {n} が終了しました")

# 3つのプロセスを作成して実行
with multiprocessing.Pool(3) as pool:
    pool.map(worker, range(3))

非同期処理

メリット:

• イベント駆動型なので、処理待ちが発生しても他の処理を実行できる
• コードが比較的シンプル

デメリット:

• 従来の処理方法とは異なる考え方と書き方
• ライブラリの理解が必要

import asyncio

async def worker(n):
    print(f"コルーチン {n} が開始されました")
    # 処理
    print(f"コルーチン {n} が終了しました")

# 3つのコルーチンを作成して実行
async def main():
    await asyncio.gather(
        worker(0),
        worker(1),
        worker(2),
    )

asyncio.run(main())

その他の方法

• gevent: 軽量なマルチスレッド/マルチプロセスライブラリ
• Twisted: イベント駆動型ネットワークフレームワーク
• Tornado: 非同期ウェブフレームワーク

どの方法を選択するべきかは、実行する処理の内容や要件によって異なります。

• 処理が軽量で、スレッド間で共有するデータが少ない場合は、マルチスレッドが適しています。
• 処理が重く、スレッド間で共有するデータが多い場合は、マルチプロセスが適しています。
• イベント駆動型の処理や、ネットワーク I/O 処理が多い場合は、非同期処理が適しています。

それぞれの方法のメリットとデメリットをよく理解した上で、最適な方法を選択してください。