PyTorch Distributed Elastic の RendezvousHandler.shutdown() 関数とは？

PyTorch Distributed Elastic の RendezvousHandler.shutdown() 解説

シャットダウンの必要性

RendezvousHandler は、複数のワーカープロセスがジョブに参加するための待ち合わせ場所を提供します。ジョブが完了したら、すべてのワーカープロセスが RendezvousHandler をシャットダウンして、リソースを解放する必要があります。

シャットダウンの仕組み

shutdown() 関数は、以下の処理を行います。

1. Rendezvous バックエンドとの接続を閉じます。
2. 使用されていたすべての一時ファイルを削除します。
3. Rendezvous 状態をクリーンアップします。

シャットダウンの例

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

# ジョブを実行
...

# RendezvousHandler をシャットダウン
rendezvous_handler.shutdown()

注意点

• shutdown() 関数は、すべてのワーカープロセスで呼び出す必要があります。
• shutdown() 関数は、RendezvousHandler インスタンスが使用されなくなった後に呼び出す必要があります。
• shutdown() 関数は、Rendezvous バックエンドによって提供されるその他の API とは互換性がありません。

この解説が、PyTorch Distributed Elastic の RendezvousHandler.shutdown() 関数について理解するのに役立つことを願っています。

質問や不明な点があれば、遠慮なくコメントしてください。

PyTorch Distributed Elastic RendezvousHandler.shutdown() サンプルコード

単純なシャットダウン

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

# ジョブを実行
...

# RendezvousHandler をシャットダウン
rendezvous_handler.shutdown()

エラー処理

try:
    # RendezvousHandler インスタンスを作成
    rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

    # ジョブを実行
    ...

    # RendezvousHandler をシャットダウン
    rendezvous_handler.shutdown()
except Exception as e:
    # エラー処理
    ...

複数ワーカープロセスでのシャットダウン

def worker_fn(rank, world_size):
    # RendezvousHandler インスタンスを作成
    rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

    # ジョブを実行
    ...

    # すべてのワーカープロセスがシャットダウンを完了するまで待機
    torch.distributed.barrier()

    # RendezvousHandler をシャットダウン
    rendezvous_handler.shutdown()

# 複数ワーカープロセスで実行
for rank in range(world_size):
    worker_fn(rank, world_size)

タイムアウト設定

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(
    ...,
    timeout=10,
)

# ジョブを実行
...

# RendezvousHandler をシャットダウン
rendezvous_handler.shutdown()

質問や不明な点があれば、遠慮なくコメントしてください。

PyTorch Distributed Elastic RendezvousHandler をシャットダウンするその他の方法

torch.distributed.destroy_process_group() 関数は、現在のプロセスグループを破棄します。これは、RendezvousHandler を含む、プロセスグループによって使用されているすべてのリソースを解放します。

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

# ジョブを実行
...

# プロセスグループを破棄
torch.distributed.destroy_process_group()

sys.exit() 関数は、現在のプロセスを強制終了します。これは、RendezvousHandler を含む、プロセスによって使用されているすべてのリソースを解放します。

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

# ジョブを実行
...

# プロセスを強制終了
sys.exit()

シグナル処理を使用して、RendezvousHandler をシャットダウンすることができます。例えば、SIGINT シグナルを受け取ったときに、shutdown() 関数を呼び出すようにシグナルハンドラーを設定することができます。

import signal

def signal_handler(signum, frame):
    # RendezvousHandler をシャットダウン
    rendezvous_handler.shutdown()

# SIGINT シグナルハンドラーを設定
signal.signal(signal.SIGINT, signal_handler)

# RendezvousHandler インスタンスを作成
rendezvous_handler = torch.distributed.elastic.rendezvous.RendezvousHandler(...)

# ジョブを実行
...

# シグナルを受け取るまで待機
while True:
    time.sleep(1)

注意事項

• 上記の方法を使用する場合は、すべてのワーカープロセスで同じ方法を使用する必要があります。
• torch.distributed.destroy_process_group() 関数と sys.exit() 関数は、RendezvousHandler インスタンスが使用されなくなった後に呼び出す必要があります。
• シグナル処理を使用する場合は、シグナルハンドラーが安全に実行されるようにする必要があります。

質問や不明な点があれば、遠慮なくコメントしてください。