PyTorch Profiler key_averages() 関数でパフォーマンスのボトルネックを見つけ出す

PyTorch Profiler の torch.profiler._KinetoProfile.key_averages() 関数解説

主な機能

• すべてのイベントの平均値、最小値、最大値、標準偏差などを計算
• テーブル形式で出力
• ソートやフィルタリング機能
• 特定のイベントの詳細な情報表示

使用例

with torch.profiler.profile(record_shapes=True) as prof:
    model(input)

# すべてのイベントの平均値を表示
print(prof.key_averages().table())

# 特定のイベントの平均値を表示
print(prof.key_averages(group_by_input_shape=True).table(sort_by="cuda_time_total", row_limit=10))

# 特定のイベントの詳細な情報表示
print(prof.key_averages(group_by_stack_n=2).table(sort_by="self_cpu_memory_usage", row_limit=10))

出力例

# すべてのイベントの平均値

Name | CPU time (us) | CUDA time (us) | Self CPU memory usage (MB) | Self CUDA memory usage (MB)
------- | -------- | -------- | -------- | --------
aten::add | 100.0 | 200.0 | 10.0 | 20.0
aten::mul | 50.0 | 100.0 | 5.0 | 10.0

# 特定のイベントの平均値

Name | Input shape | CPU time (us) | CUDA time (us) | Self CPU memory usage (MB) | Self CUDA memory usage (MB)
------- | -------- | -------- | -------- | -------- | --------
aten::add | [1, 1024, 1024] | 100.0 | 200.0 | 10.0 | 20.0
aten::mul | [1, 1024, 1024] | 50.0 | 100.0 | 5.0 | 10.0

# 特定のイベントの詳細な情報

Name | CPU time (us) | CUDA time (us) | Self CPU memory usage (MB) | Self CUDA memory usage (MB) | Stack
------- | -------- | -------- | -------- | -------- | --------
aten::add | 100.0 | 200.0 | 10.0 | 20.0 | 
    - aten::add
    - aten::mul
    - aten::relu

補足

• torch.profiler._KinetoProfile.key_averages() は、PyTorch Profiler の高度な機能です。
• この関数は、パフォーマンスのボトルネックを見つけるために役立ちます。
• 出力結果を理解するには、PyTorch Profiler の仕組みを理解する必要があります。

PyTorch Profiler key_averages() 関数 サンプルコード

すべてのイベントの平均値

with torch.profiler.profile(record_shapes=True) as prof:
    model(input)

# すべてのイベントの平均値を表示
print(prof.key_averages().table())

特定のイベントの平均値

with torch.profiler.profile(record_shapes=True) as prof:
    model(input)

# 特定の演算の平均値を表示
print(prof.key_averages(group_by_input_shape=True).table(sort_by="cuda_time_total", row_limit=10))

特定のイベントの詳細な情報

with torch.profiler.profile(record_shapes=True, record_stack=True) as prof:
    model(input)

# 特定の演算の詳細な情報
print(prof.key_averages(group_by_stack_n=2).table(sort_by="self_cpu_memory_usage", row_limit=10))

特定のフレームのみに絞り込む

with torch.profiler.profile(record_shapes=True, record_stack=True) as prof:
    for i in range(10):
        model(input)

# 5番目のフレームのみに絞り込み、詳細な情報
print(prof.key_averages(frame_range=[4, 5], group_by_stack_n=2).table(sort_by="self_cpu_memory_usage", row_limit=10))

特定のCUDAデバイスのみに絞り込む

with torch.profiler.profile(record_shapes=True, record_stack=True) as prof:
    with torch.cuda.device(1):
        model(input)

# CUDAデバイス1のみに絞り込み、詳細な情報
print(prof.key_averages(device_ids=[1], group_by_stack_n=2).table(sort_by="self_cpu_memory_usage", row_limit=10))

出力結果をCSVファイルに保存

with torch.profiler.profile(record_shapes=True, record_stack=True) as prof:
    model(input)

# 出力結果をCSVファイルに保存
prof.key_averages().export_csv("profile_results.csv")

Jupyter Notebook での可視化

# Jupyter Notebook で使用する場合

%load_ext autoreload
%autoreload 2

from torch.profiler import profile

with profile(record_shapes=True, record_stack=True) as prof:
    model(input)

# Jupyter Notebook で可視化
prof.key_averages().plot()

PyTorch Profiler key_averages() 関数 以外のパフォーマンス分析方法

PyTorch Profiler その他の機能

• torch.profiler.profile() の with_stack オプション: 各イベントのスタックトレースを表示
• torch.profiler.profile() の with_flops オプション: 各イベントの浮動小数点演算数 (FLOPS) を表示
• torch.profiler.profile() の with_modules オプション: 各イベントのモジュール階層を表示
• torch.profiler.export_chrome_trace() : Chrome Tracing 形式でトレースデータを保存
• torch.profiler.kineto() : Kineto profiler を使用してトレースデータを収集

PyTorch以外のツール

• Nvidia Nsight Systems: GPU パフォーマンスの詳細な分析
• Intel VTune Amplifier: CPU と GPU パフォーマンスの詳細な分析
• AMD CodeXL: CPU と GPU パフォーマンスの詳細な分析
• Google Perfetto: Chrome Tracing 形式のトレースデータの分析

コードレベルでの分析

• コード内のボトルネックを見つける
• 非効率なコード部分を最適化する
• データ構造やアルゴリズムを見直す

メモリリークの分析

• torch.cuda.memory_allocated() : CUDAメモリ使用量を取得
• torch.cuda.memory_cached() : CUDAキャッシュメモリ使用量を取得
• torch.cuda.memory_reserved() : CUDA予約済みメモリ使用量を取得

これらの方法を組み合わせることで、パフォーマンスの問題をより深く理解し、解決することができます。