PyTorch 分散チェックポイント： StorageReader.set_up_storage_reader() をマスターして分散学習を成功に導く

PyTorchの分散チェックポイントにおける torch.distributed.checkpoint.StorageReader.set_up_storage_reader() の詳細解説

torch.distributed.checkpoint.StorageReader.set_up_storage_reader() は、PyTorch の分散チェックポイント機能において、チェックポイントファイルを読み込むための重要な関数です。この関数は、分散環境で効率的にチェックポイントを読み込むために必要な設定を行います。

この解説で学ぶこと

• StorageReader.set_up_storage_reader() の役割と動作
• 関数の引数とそれぞれの意味
• 設定可能なオプションとそれぞれの影響
• 具体的な使用例
• よくある問題と解決策
• 関連する資料と参考情報

StorageReader.set_up_storage_reader() は、以下の 3 つの重要な役割を果たします。

1. チェックポイントファイルの形式を指定する: StorageReader クラスには、Torch 形式と HDF5 形式の 2 つのサブクラスが存在します。この関数でどちらの形式を使用するかを指定する必要があります。
2. チェックポイントファイルの場所を指定する: チェックポイントファイルが保存されているローカルまたはリモートのパスを指定する必要があります。
3. 読み込みオプションを設定する: 読み込み速度やメモリ使用量などを調整するためのオプションを設定できます。

関数の引数

StorageReader.set_up_storage_reader() 関数は以下の引数を受け取ります。

• storage_type: 使用する StorageReader のサブクラス (Torch または HDF5) を指定します。
• checkpoint_path: チェックポイントファイルのパスを指定します。
• **kwargs: 読み込みオプションを指定するためのキーワード引数です。

設定可能なオプション

以下のオプションを **kwargs で設定できます。

• map_location: チェックポイント内のテンサーを異なるデバイスに読み込むためのオプションです。
• check_hash: チェックポイントファイルの破損をチェックするためのオプションです。
• logger: 読み込みに関するログを出力するためのオプションです。

使用例

from torch.distributed.checkpoint import StorageReader

# Torch形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="Torch", checkpoint_path="/path/to/checkpoint.pt")

# HDF5形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="HDF5", checkpoint_path="/path/to/checkpoint.h5")

# 読み込みオプションを設定
storage_reader.set_up_storage_reader(map_location="cpu", check_hash=True)

# チェックポイントを読み込む
state_dict = storage_reader.load_state_dict()

よくある問題

• チェックポイントファイルが見つからない: checkpoint_path が正しく設定されていることを確認してください。
• チェックポイントファイルが破損している: check_hash オプションを有効にして、ファイルの破損をチェックしてください。
• メモリ不足: 読み込みオプションで torch.distributed.checkpoint.set_checkpoint_requirements() を使用して、必要なメモリ量を制限できます。

その他

• この解説は PyTorch 1.10 以降を対象としています。
• 分散チェックポイント機能は、複数の GPU や複数のノードで動作する PyTorch プログラムにのみ使用できます。

質問

この解説に関する質問は、PyTorch のフォーラムやコミュニティで投稿することができます。

PyTorch 分散チェックポイント torch.distributed.checkpoint.StorageReader.set_up_storage_reader() のサンプルコード

from torch.distributed.checkpoint import StorageReader

# チェックポイントファイルのパス
checkpoint_path = "/path/to/checkpoint.pt"

# Torch形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="Torch", checkpoint_path=checkpoint_path)

# チェックポイントを読み込む
state_dict = storage_reader.load_state_dict()

# モデルに読み込んだパラメータを適用
model.load_state_dict(state_dict)

複数の GPU でのチェックポイント読み込み

from torch.distributed.checkpoint import StorageReader, load_state_dict_from_url

# チェックポイントファイルの URL
checkpoint_url = "https://path/to/checkpoint.pt"

# モデルを分散化
model = model.to("cuda")

# すべての GPU でチェックポイントを読み込む
state_dict = load_state_dict_from_url(
    checkpoint_url,
    map_location="cuda",
    check_hash=True,
)

# モデルに読み込んだパラメータを適用
model.load_state_dict(state_dict)

HDF5 形式のチェックポイント読み込み

from torch.distributed.checkpoint import StorageReader

# チェックポイントファイルのパス
checkpoint_path = "/path/to/checkpoint.h5"

# HDF5形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="HDF5", checkpoint_path=checkpoint_path)

# チェックポイントを読み込む
state_dict = storage_reader.load_state_dict()

# モデルに読み込んだパラメータを適用
model.load_state_dict(state_dict)

読み込みオプションの設定

from torch.distributed.checkpoint import StorageReader

# チェックポイントファイルのパス
checkpoint_path = "/path/to/checkpoint.pt"

# 読み込みオプション
options = {
    "map_location": "cpu",
    "check_hash": True,
}

# Torch形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="Torch", checkpoint_path=checkpoint_path)

# 読み込みオプションを設定
storage_reader.set_up_storage_reader(**options)

# チェックポイントを読み込む
state_dict = storage_reader.load_state_dict()

チェックポイントファイルの破損チェック

from torch.distributed.checkpoint import StorageReader

# チェックポイントファイルのパス
checkpoint_path = "/path/to/checkpoint.pt"

# チェックポイントファイルの破損をチェック
try:
    storage_reader = StorageReader(storage_type="Torch", checkpoint_path=checkpoint_path)
    storage_reader.check_hash()
except RuntimeError as e:
    print(f"チェックポイントファイルが破損しています: {e}")

メモリ制限の設定

from torch.distributed.checkpoint import StorageReader, set_checkpoint_requirements

# チェックポイントファイルのパス
checkpoint_path = "/path/to/checkpoint.pt"

# メモリ制限を設定
set_checkpoint_requirements(
    checkpoint_path,
    map_location="cpu",
    max_cpu_memory=1024,
)

# Torch形式のチェックポイントを読み込む
storage_reader = StorageReader(storage_type="Torch", checkpoint_path=checkpoint_path)

# チェックポイントを読み込む
state_dict = storage_reader.load_state_dict()

これらのサンプルコードは、PyTorch 分散チェックポイント機能の使い方を理解するのに役立ちます。

PyTorch 分散チェックポイントにおける torch.distributed.checkpoint.StorageReader.set_up_storage_reader() の代替方法

torch.load() 関数は、単一の GPU で動作する PyTorch プログラムでチェックポイントファイルを読み込むための標準的な方法です。分散環境では、torch.load() を使用して各 GPU 上のローカルファイルを読み込むことができます。

from torch import load

# 各 GPU 上のローカルファイルを読み込む
rank = torch.distributed.get_rank()
checkpoint_path = f"/path/to/checkpoint_{rank}.pt"
state_dict = load(checkpoint_path)

# モデルに読み込んだパラメータを適用
model.load_state_dict(state_dict)

torch.distributed.barrier() 関数は、すべての GPU がチェックポイントファイルを読み込むまで同期するのに使用できます。

from torch import load
from torch.distributed import barrier

# 各 GPU 上のローカルファイルを読み込む
rank = torch.distributed.get_rank()
checkpoint_path = f"/path/to/checkpoint_{rank}.pt"
state_dict = load(checkpoint_path)

# すべての GPU が読み込み完了まで同期
barrier()

# モデルに読み込んだパラメータを適用
model.load_state_dict(state_dict)

自作の読み込みロジック

上記の方法に加えて、独自の読み込みロジックを実装することもできます。この方法は、より柔軟な制御が必要な場合に役立ちます。

それぞれの方法の利点と欠点

選択する方法は、以下の要件によって異なります。

• 使用する PyTorch のバージョン
• プログラムの分散環境
• 必要な柔軟性