PyTorch MPS Profilerを使う以外のパフォーマンス分析方法

2024-04-02

PyTorch MPS Profiler: 詳細解説

この解説では、torch.mps.torch.mps.profiler.start関数をはじめ、PyTorch MPS Profilerの基本的な使用方法を説明します。

動作環境

macOS 12.3以降
Apple Silicon搭載Mac
Python 3.7以降
Xcode command-line tools
PyTorch 1.12以降

インストール

PyTorch MPS Profilerは、PyTorch 1.12以降に標準搭載されています。別途インストールする必要はありません。

使用方法

import torch
from torch.mps.profiler import Profiler

# Profilerの開始
with Profiler(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA, ProfilerActivity.MPS]):
    # モデルのコード

Profilerクラスのコンストラクタに、計測したいアクティビティをリストとして渡します。ProfilerActivity.CPU、ProfilerActivity.CUDA、ProfilerActivity.MPSはそれぞれ、CPU、CUDA、MPS上での処理時間を計測します。

詳細情報の取得

# Profilerの停止
profiler.stop()

# 詳細情報の取得
events = profiler.events()

# イベント情報の表示
for event in events:
    print(event)

Profilerオブジェクトのstopメソッドを呼び出すことで、Profilerを停止します。

eventsメソッドは、計測されたイベントのリストを返します。各イベントには、開始時間、終了時間、処理時間、アクティビティなどの情報が含まれています。

イベント情報のフィルタリング

# 特定のアクティビティのみ表示
for event in events:
    if event.activity == ProfilerActivity.MPS:
        print(event)

# 特定の名前を持つイベントのみ表示
for event in events:
    if event.name == "my_model_forward":
        print(event)

イベント情報は、アクティビティや名前でフィルタリングすることができます。

その他の機能

Profilerオブジェクトには、export_to_trace()メソッドなど、他の便利な機能も用意されています。詳細は、PyTorchドキュメントを参照してください。

PyTorch MPS Profilerは、Apple Silicon搭載MacでPyTorchモデルのパフォーマンスを分析するための強力なツールです。このツールを使いこなすことで、モデルのボトルネックを特定し、パフォーマンスを向上させることができます。

改善点

動作環境にXcode command-line toolsを追加しました。
インストール方法をより簡潔に説明しました。
詳細情報の取得の例を追加しました。
イベント情報のフィルタリングの例を追加しました。
その他の機能について簡単に説明しました。

PyTorch MPS Profiler サンプルコード

シンプルな例

import torch
from torch.mps.profiler import Profiler

# モデルの定義
model = torch.nn.Sequential(
    torch.nn.Linear(10, 100),
    torch.nn.ReLU(),
    torch.nn.Linear(100, 10)
)

# 入力データの作成
x = torch.randn(10, 10)

# Profilerの開始
with Profiler(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA, ProfilerActivity.MPS]):
    # モデルの実行
    y = model(x)

# 詳細情報の取得
events = profiler.events()

# イベント情報の表示
for event in events:
    print(event)

特定のアクティビティのみ表示

import torch
from torch.mps.profiler import Profiler

# モデルの定義
model = torch.nn.Sequential(
    torch.nn.Linear(10, 100),
    torch.nn.ReLU(),
    torch.nn.Linear(100, 10)
)

# 入力データの作成
x = torch.randn(10, 10)

# Profilerの開始
with Profiler(activities=[ProfilerActivity.MPS]):
    # モデルの実行
    y = model(x)

# 詳細情報の取得
events = profiler.events()

# MPS上での処理時間のみ表示
for event in events:
    if event.activity == ProfilerActivity.MPS:
        print(event)

このコードは、MPS上での処理時間のみを表示します。

特定の名前を持つイベントのみ表示

import torch
from torch.mps.profiler import Profiler

# モデルの定義
model = torch.nn.Sequential(
    torch.nn.Linear(10, 100),
    torch.nn.ReLU(),
    torch.nn.Linear(100, 10)
)

# 入力データの作成
x = torch.randn(10, 10)

# Profilerの開始
with Profiler(activities=[ProfilerActivity.MPS]):
    # モデルの実行
    y = model(x)

# 詳細情報の取得
events = profiler.events()

# "my_model_forward"という名前を持つイベントのみ表示
for event in events:
    if event.name == "my_model_forward":
        print(event)

このコードは、"my_model_forward"という名前を持つイベントのみを表示します。

詳細情報の保存

import torch
from torch.mps.profiler import Profiler

# モデルの定義
model = torch.nn.Sequential(
    torch.nn.Linear(10, 100),
    torch.nn.ReLU(),
    torch.nn.Linear(100, 10)
)

# 入力データの作成
x = torch.randn(10, 10)

# Profilerの開始
with Profiler(activities=[ProfilerActivity.MPS]):
    # モデルの実行
    y = model(x)

# 詳細情報の保存
profiler.export_to_trace("my_profile.trace")

このコードは、詳細情報をmy_profile.traceというファイルに保存します。

Flameグラフの生成

import torch
from torch.mps.profiler import Profiler

# モデルの定義
model = torch.nn.Sequential(
    torch.nn.Linear(10, 100),
    torch.nn.ReLU(),
    torch.nn.Linear(100, 10)
)

# 入力データの作成
x = torch.randn(10, 10)

# Profilerの開始
with Profiler(activities=[ProfilerActivity.MPS]):
    # モデルの実行
    y = model(x)

# 詳細情報の保存
profiler.export_to_trace("my_profile.trace")

# Flameグラフの生成
import pyflame

pyflame.profile("my_profile.trace")

このコードは、Flameグラフを生成します。Flameグラフは、各関数が実行された時間