PyTorch分散学習：Torchelasticと torch.distributed.is_torchelastic_launched()

PyTorchの分散通信におけるtorch.distributed.is_torchelastic_launched()

torch.distributed.is_torchelastic_launched()は、PyTorchの分散通信モジュールtorch.distributedにおける、Torchelasticを使用してプロセスが起動されたかどうかを判定する関数です。

Torchelasticは、大規模な分散学習を容易にする、PyTorchのオープンソース拡張ライブラリです。複数のGPUやノードにわたってモデルの訓練を効率的に行うことができます。

torch.distributed.is_torchelastic_launched()の役割

この関数は、以下の条件を満たす場合にTrueを返します。

• プロセスがtorch.distributed.launchを使用して起動された
• TORCHELASTIC_MAIN_RANK環境変数が設定されている

これらの条件を満たす場合、そのプロセスはTorchelasticによって起動されたと判断できます。

使用例

import torch.distributed

if torch.distributed.is_torchelastic_launched():
    # Torchelasticによって起動された場合の処理
else:
    # それ以外の処理

注意事項

• この関数は、torch.distributedモジュールが初期化された後にのみ呼び出すことができます。
• MacOSでは、torch.distributedモジュールがデフォルトで利用できないため、この関数は常にFalseを返します。

補足

• torch.distributed.launchは、Torchelasticを使用して複数のプロセスを起動するためのコマンドラインツールです。
• TORCHELASTIC_MAIN_RANK環境変数は、Torchelasticによって起動されたプロセスの中で、メインランクのプロセスのみに設定されます。

PyTorchの分散通信におけるtorch.distributed.is_torchelastic_launched()のサンプルコード

# ファイル名: main.py

import torch
import torch.distributed as dist

def main():
    # Torchelasticを使用してプロセスを起動
    dist.launch("localhost:23456", "main.py")

    # Torchelasticによって起動されたかどうかを判定
    if torch.distributed.is_torchelastic_launched():
        print("This process was launched by Torchelastic.")
    else:
        print("This process was not launched by Torchelastic.")

if __name__ == "__main__":
    main()

実行方法

1. main.pyファイルを保存します。
2. 以下のコマンドを実行して、Torchelasticを使用して2つのプロセスを起動します。

torch.distributed.launch localhost:23456 main.py

出力結果

This process was launched by Torchelastic.
This process was launched by Torchelastic.

torch.distributed.is_torchelastic_launched()を使用して、Torchelastic環境とそれ以外の環境で処理を分岐する

# ファイル名: main.py

import torch
import torch.distributed as dist

def main():
    # Torchelasticによって起動されたかどうかを判定
    if torch.distributed.is_torchelastic_launched():
        # Torchelastic環境での処理
        print("This process is running in a Torchelastic environment.")
        # ...
    else:
        # それ以外の環境での処理
        print("This process is not running in a Torchelastic environment.")
        # ...

if __name__ == "__main__":
    main()

実行方法

1. 以下のコマンドを実行して、torch.distributedモジュールを初期化せずにスクリプトを実行します。

python main.py

出力結果

This process is not running in a Torchelastic environment.

python -m torch.distributed.launch localhost:23456 main.py

出力結果

This process is running in a Torchelastic environment.

これらのサンプルコードは、torch.distributed.is_torchelastic_launched()の使い方を理解するのに役立ちます。

torch.distributed.is_torchelastic_launched()以外の方法

TORCHELASTIC_MAIN_RANK環境変数は、Torchelasticによって起動されたプロセスの中で、メインランクのプロセスのみに設定されます。この環境変数の値を確認することで、Torchelastic環境かどうかを判定できます。

import os

if "TORCHELASTIC_MAIN_RANK" in os.environ:
    # Torchelastic環境
else:
    # それ以外の環境

torch.distributed.get_world_size()は、現在の分散訓練に参加しているプロセスの数を返します。この値が1よりも大きい場合、Torchelastic環境で実行されている可能性が高いです。

import torch.distributed as dist

world_size = dist.get_world_size()

if world_size > 1:
    # Torchelastic環境
else:
    # それ以外の環境

torch.distributed.is_available()は、分散訓練が利用可能かどうかを返します。この値がTrueの場合、Torchelastic環境で実行されている可能性が高いです。

import torch.distributed as dist

if dist.is_available():
    # Torchelastic環境
else:
    # それ以外の環境

注意事項

• 上記の方法はいずれも、確実な判定方法ではありません。
• TORCHELASTIC_MAIN_RANK環境変数は、Torchelastic以外の環境でも設定される可能性があります。
• torch.distributed.get_world_size()は、torch.distributedモジュールが初期化された後にのみ呼び出すことができます。
• torch.distributed.is_available()は、PyTorchのバージョンによって動作が異なる可能性があります。