マルチプロセッシングモジュールの使い方

Pythonにおける同時実行（マルチプロセッシング）

概要

マルチプロセッシングモジュール

Pythonでは、マルチプロセッシング機能を提供するmultiprocessingモジュールが標準ライブラリとして用意されています。このモジュールには、複数のプロセスを作成・管理するための様々な機能が提供されています。

主要な機能

• プロセス：独立した実行環境を持つ処理単位
• Queue：プロセス間でデータを送受信するためのパイプ
• Pool：複数のプロセスをまとめて管理するための機能
• Lock：複数のプロセスが同時に同じリソースにアクセスすることを防ぐための機能
• Semaphore：リソースの利用可能数を管理するための機能

使用例

以下は、multiprocessingモジュールを使用して、2つの処理を同時に実行する例です。

import multiprocessing

def task(x):
  return x * 2

if __name__ == "__main__":
  # 2つのプロセスを作成
  p1 = multiprocessing.Process(target=task, args=(1,))
  p2 = multiprocessing.Process(target=task, args=(2,))

  # 2つのプロセスを同時に実行
  p1.start()
  p2.start()

  # 2つのプロセスの結果を待機
  p1.join()
  p2.join()

  # 結果を出力
  print(p1.result())  # 2
  print(p2.result())  # 4

マルチプロセッシングの利点

• 処理速度の向上
• CPU負荷の分散
• 複雑なタスクの分割・実行

マルチプロセッシングの欠点

• プログラミングが複雑になる
• プロセス間のデータ共有が難しい
• メモリ使用量の増加

• マルチプロセッシング以外にも、threadingモジュールを用いたマルチスレッド処理など、Pythonには様々な並行処理技術があります。
• 具体的な技術選択は、処理内容や環境によって異なります。

マルチプロセッシングサンプルコード集

複数のタスクを同時に実行

import multiprocessing

def task(x):
  return x * 2

if __name__ == "__main__":
  # タスクのリスト
  tasks = [1, 2, 3, 4, 5]

  # Poolオブジェクトを作成
  with multiprocessing.Pool() as pool:
    # タスクをPoolに送信
    results = pool.map(task, tasks)

  # 結果を出力
  for result in results:
    print(result)

プロセス間でデータを送受信

import multiprocessing

def producer(queue):
  for i in range(5):
    queue.put(i)

def consumer(queue):
  while True:
    data = queue.get()
    if data is None:
      break
    print(data)

if __name__ == "__main__":
  # キューを作成
  queue = multiprocessing.Queue()

  # プロデューサーとコンシューマーを作成
  p = multiprocessing.Process(target=producer, args=(queue,))
  c = multiprocessing.Process(target=consumer, args=(queue,))

  # プロセスを開始
  p.start()
  c.start()

  # プロデューサーに終了を通知
  queue.put(None)

  # プロセスの終了を待機
  p.join()
  c.join()

処理の進捗状況を表示

import multiprocessing

def task(x):
  for i in range(10):
    time.sleep(0.1)
    print(f"タスク{x}の進捗状況: {i+1}/10")

if __name__ == "__main__":
  # タスクのリスト
  tasks = [1, 2, 3]

  # Poolオブジェクトを作成
  with multiprocessing.Pool() as pool:
    # タスクをPoolに送信
    # 進捗状況を表示するためのコールバック関数を指定
    results = pool.map(task, tasks, callback=lambda x: print(f"完了: タスク{x}"))

  # 結果を出力
  for result in results:
    print(result)

ロックを使用して排他制御

import multiprocessing

def task(lock, x):
  with lock:
    print(f"タスク{x}がクリティカルセクションに入りました")
    time.sleep(1)
    print(f"タスク{x}がクリティカルセクションから出ました")

if __name__ == "__main__":
  # ロックを作成
  lock = multiprocessing.Lock()

  # タスクを作成
  tasks = [1, 2, 3]

  # Poolオブジェクトを作成
  with multiprocessing.Pool() as pool:
    # タスクをPoolに送信
    pool.map(task, tasks, args=(lock,))

セmaphoreを使用してリソースの利用を制限

import multiprocessing

def task(semaphore, x):
  semaphore.acquire()
  try:
    print(f"タスク{x}がリソースを使用しています")
    time.sleep(1)
  finally:
    semaphore.release()

if __name__ == "__main__":
  # セmaphoreを作成
  semaphore = multiprocessing.Semaphore(2)

  # タスクを作成
  tasks = [1, 2, 3, 4, 5]

  # Poolオブジェクトを作成
  with multiprocessing.Pool() as pool:
    # タスクをPoolに送信
    pool.map(task, tasks, args=(semaphore,))

• 上記はほんの一例です。マルチプロセッシングは様々な用途で使用できます。

マルチプロセッシングの代替方法

マルチスレッド

利点

• 軽量で実装が簡単
• GILによるオーバーヘッドが少ない

欠点

• GILの影響で処理速度向上が制限される
• メモリ使用量が増加する

非同期処理

asyncioモジュールを用いた非同期処理は、イベント駆動型の処理で、I/O待ちが多い処理に適しています。ただし、複雑な処理になるとコードが複雑になりやすいという欠点があります。

利点

• I/O待ちが多い処理に適している
• 処理速度向上が期待できる

欠点

• コードが複雑になりやすい
• デバッグが難しい

分散処理

複数のコンピュータで処理を分散させる方法です。処理量が多い場合や、高可用性が必要な場合に有効です。ただし、ネットワークの遅延や障害の影響を受けやすくなります。

利点

• 処理量が多い場合に有効
• 高可用性を実現できる

欠点

• ネットワークの遅延や障害の影響を受けやすい

既存ライブラリの利用

NumPyやPandasなどのライブラリには、マルチプロセッシング機能が組み込まれている場合があります。これらのライブラリを利用することで、コードを簡単に書けます。

利点

• コードが簡単

欠点

• ライブラリの機能に制限される

ジョブスケジューラ

CeleryやLuigiなどのジョブスケジューラを用いることで、複雑な処理を自動的に実行できます。ただし、設定や管理が複雑になるという欠点があります。

利点

• 複雑な処理を自動的に実行できる
• スケーラビリティが高い

欠点

• 設定や管理が複雑になる

適した方法の選択

マルチプロセッシング以外にも様々な方法があります。具体的な方法選択は、処理内容、環境、開発者のスキルなどを考慮する必要があります。