PyTorch DE vs Horovod: どっちを選ぶべきか？

PyTorch Distributed Elasticにおけるtorch.distributed.elastic.agent.server.SimpleElasticAgent._assign_worker_ranks()解説

PyTorch DEは、分散環境でPyTorchモデルの訓練を可能にするライブラリです。複数のワーカーノードでモデルの訓練を並列実行することで、訓練時間を大幅に短縮することができます。

PyTorch DEには、いくつかの重要な概念があります。

• ワーカーノード: モデル訓練に参加する個々のコンピュータ
• グローバルランク: ワーカノード全体で一意に識別される番号
• ローカルランク: ワーカグループ内でのみ一意に識別される番号
• ワーカグループ: 同じ訓練ジョブに参加するワーカーノードの集合

_assign_worker_ranks()は、ワーカーノードにグローバルランクとローカルランクを割り当てる関数です。この関数は、以下の手順で実行されます。

1. ワーカノードから送信された接続要求を処理します。
2. ワーカグループIDに基づいて、ワーカーノードをグループに分類します。
3. 各ワーカーグループ内のワーカーノードに、ローカルランクを割り当てます。
4. すべてのワーカーノードに、グローバルランクとローカルランクを通知します。

コード解説

def _assign_worker_ranks(self, worker_group, world_size):
  """
  Assigns ranks to workers in the given worker group.

  Args:
    worker_group: The worker group to assign ranks to.
    world_size: The total number of workers in the global job.

  Returns:
    A dictionary mapping worker names to their assigned ranks.
  """
  # 1. ワーカグループ内のワーカーノードのリストを取得

  worker_names = list(worker_group.workers.keys())

  # 2. ランダムにシャッフル

  random.shuffle(worker_names)

  # 3. ローカルランクを割り当て

  local_ranks = list(range(len(worker_names)))

  # 4. グローバルランクを計算

  global_ranks = [
      self._global_rank_base + local_rank for local_rank in local_ranks
  ]

  # 5. ワーカノードにランクを通知

  for worker_name, global_rank, local_rank in zip(
      worker_names, global_ranks, local_ranks
  ):
    worker_group.workers[worker_name].send_rank(global_rank, local_rank)

  # 6. ランク情報を含む辞書を返却

  return dict(zip(worker_names, global_ranks))

まとめ

_assign_worker_ranks()は、PyTorch DEにおける重要な関数です。この関数は、ワーカーノードにランクを割り当てることで、分散訓練を効率的に実行することができます。

PyTorch Distributed Elastic サンプルコード

ここでは、PyTorch DE を使用した様々なサンプルコードを紹介します。

MNIST データセットを用いたシンプルな分類タスクのサンプルコードです。

import torch
import torch.distributed as dist
import torch.distributed.elastic as elastic

# ワーカノードの初期化
dist.init_process_group(backend="nccl")

# モデル定義
model = torch.nn.Sequential(
    torch.nn.Flatten(),
    torch.nn.Linear(784, 10),
)

# 訓練データの読み込み
train_loader = torch.utils.data.DataLoader(
    MNIST("data", train=True, download=True),
    batch_size=64,
    shuffle=True,
)

# 訓練ループ
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        # モデルの推論
        output = model(data)

        # 損失関数の計算
        loss = torch.nn.CrossEntropyLoss()(output, target)

        # バックプロパゲーション
        optimizer.zero_grad()
        loss.backward()

        # パラメータの更新
        optimizer.step()

# モデルの保存
torch.save(model.state_dict(), "mnist.ckpt")

画像分類

ImageNet データセットを用いた画像分類タスクのサンプルコードです。

import torch
import torchvision
import torch.distributed as dist
import torch.distributed.elastic as elastic

# ワーカノードの初期化
dist.init_process_group(backend="nccl")

# モデル定義
model = torchvision.models.resnet18(pretrained=True)

# 訓練データの読み込み
train_loader = torch.utils.data.DataLoader(
    ImageNet("data", train=True, download=True),
    batch_size=64,
    shuffle=True,
)

# 訓練ループ
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        # モデルの推論
        output = model(data)

        # 損失関数の計算
        loss = torch.nn.CrossEntropyLoss()(output, target)

        # バックプロパゲーション
        optimizer.zero_grad()
        loss.backward()

        # パラメータの更新
        optimizer.step()

# モデルの保存
torch.save(model.state_dict(), "imagenet.ckpt")

カスタムモデル

上記以外にも、PyTorch DE は様々なモデルやデータセットに対応しています。カスタムモデルを使用する場合は、以下のコードを参考にすれば、簡単に分散訓練を行うことができます。

import torch
import torch.distributed as dist
import torch.distributed.elastic as elastic

# ワーカノードの初期化
dist.init_process_group(backend="nccl")

# モデル定義
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        # モデルのアーキテクチャを定義

# 訓練データの読み込み
train_loader = torch.utils.data.DataLoader(
    # 訓練データセットを定義
)

# モデルのインスタンス化
model = MyModel()

# 訓練ループ
for epoch in range(10):
    for batch_idx, (data, target) in enumerate(train_loader):
        # モデルの推論
        output = model(data)

        # 損失関数の計算
        loss = torch.nn.CrossEntropyLoss()(output, target)

        # バックプロパゲーション
        optimizer.zero_grad()
        loss.backward()

        # パラメータの更新
        optimizer.step()

# モデルの保存
torch.save(model.state_dict(), "my_model.ckpt")

PyTorch DE は、PyTorch モデルの分散訓練を簡単に行えるライブラリです。様々なサンプルコード

PyTorch Distributed Elastic 以外の分散訓練方法

• スケーラビリティ: PyTorch DE は、大規模な分散訓練には対応していない可能性があります。
• 柔軟性: PyTorch DE は、特定の訓練ユースケースに適していない可能性があります。

以下は、PyTorch DE 以外の分散訓練方法です。

Horovod は、OpenAI によって開発されたオープンソースの分散訓練ライブラリです。PyTorch を含む様々なフレームワークに対応しており、大規模な分散訓練を効率的に実行することができます。

TensorFlow Distributed Training

TensorFlow には、分散訓練機能が標準で搭載されています。TensorFlow の API を使用して、簡単に分散訓練を行うことができます。

Ray は、分散アプリケーション開発のためのオープンソースプラットフォームです。Ray を使用して、PyTorch モデルの分散訓練を行うことができます。

Kubernetes は、コンテナオーケストレーションプラットフォームです。Kubernetes を使用して、PyTorch モデルの分散訓練を行うことができます。

選択のポイント

PyTorch DE 以外の分散訓練方法を選択する場合は、以下のポイントを考慮する必要があります。

• スケーラビリティ: 訓練ジョブの規模を考慮する必要があります。
• 柔軟性: 訓練ユースケースの要件を満たす必要があります。
• 使いやすさ: 開発者のスキルレベルを考慮する必要があります。

PyTorch DE は、PyTorch モデルの分散訓練を簡単に行えるライブラリですが、いくつかの制限があります。訓練ジョブの規模や要件によっては、PyTorch DE 以外の分散訓練方法を選択する必要があります。