PyTorch Tensorboard で PR 曲線を使って二値分類モデルの性能を評価する方法

PyTorch Tensorboard の torch.utils.tensorboard.writer.SummaryWriter.add_pr_curve() 関数解説

torch.utils.tensorboard.writer.SummaryWriter.add_pr_curve() 関数は、Tensorboard で精密-再現曲線 (PR 曲線) を可視化するために使用されます。PR 曲線は、二値分類モデルの性能を評価する指標の一つであり、陽性予測値 (Precision) と再現率 (Recall) の関係を表します。

この関数の利点

• Tensorboard を使って PR 曲線を簡単に可視化できる
• 複数の PR 曲線を比較できる
• 曲線下面積 (AUC) を計算できる

この関数の使い方

# ライブラリのインポート
import torch
from torch.utils.tensorboard import SummaryWriter

# データの準備
labels = torch.tensor([0, 1, 1, 0, 1, 0, 1, 1, 0, 1])
predictions = torch.tensor([0.2, 0.8, 0.7, 0.1, 0.9, 0.3, 0.6, 0.5, 0.4, 0.8])

# SummaryWriter のインスタンスを作成
writer = SummaryWriter()

# PR 曲線を追加
writer.add_pr_curve(tag="my_pr_curve", labels=labels, predictions=predictions)

# イベントファイルを閉じる
writer.close()

パラメータ

• tag (str): データ識別子
• labels (torch.Tensor): 正解ラベル (0 または 1 の値を持つ)
• predictions (torch.Tensor): 予測確率 (0 から 1 の範囲)
• global_step (int, オプション): グローバルステップ値
• num_thresholds (int, オプション): 曲線を描画するために使用する閾値の数

出力

Tensorboard を起動すると、my_pr_curve という名前のタブが表示され、PR 曲線が可視化されます。

補足

• PR 曲線は、ROC 曲線と比較して、不均衡データセットでより有用な指標となる場合があります。
• add_pr_curve() 関数は、PyTorch 1.7 以降で使用できます。

関連キーワード

• PyTorch
• Tensorboard
• 精密-再現曲線
• PR 曲線
• AUC

PyTorch Tensorboard add_pr_curve() 関数のサンプルコード

複数 PR 曲線の比較

import torch
from torch.utils.tensorboard import SummaryWriter

# データの準備
labels1 = torch.tensor([0, 1, 1, 0, 1, 0, 1, 1, 0, 1])
predictions1 = torch.tensor([0.2, 0.8, 0.7, 0.1, 0.9, 0.3, 0.6, 0.5, 0.4, 0.8])

labels2 = torch.tensor([1, 0, 0, 1, 0, 1, 0, 1, 1, 0])
predictions2 = torch.tensor([0.9, 0.1, 0.2, 0.8, 0.3, 0.7, 0.4, 0.6, 0.5, 0.9])

# SummaryWriter のインスタンスを作成
writer = SummaryWriter()

# 複数の PR 曲線を追加
writer.add_pr_curve(tag="model1", labels=labels1, predictions=predictions1)
writer.add_pr_curve(tag="model2", labels=labels2, predictions=predictions2)

# イベントファイルを閉じる
writer.close()

曲線下面積 (AUC) の計算

import torch
from torch.utils.tensorboard import SummaryWriter

# データの準備
labels = torch.tensor([0, 1, 1, 0, 1, 0, 1, 1, 0, 1])
predictions = torch.tensor([0.2, 0.8, 0.7, 0.1, 0.9, 0.3, 0.6, 0.5, 0.4, 0.8])

# SummaryWriter のインスタンスを作成
writer = SummaryWriter()

# PR 曲線と AUC を追加
writer.add_pr_curve(tag="my_pr_curve", labels=labels, predictions=predictions)

# イベントファイルを閉じる
writer.close()

# AUC を取得
auc = writer.get_pr_curve("my_pr_curve").auc

異なる閾値を使用した PR 曲線

import torch
from torch.utils.tensorboard import SummaryWriter

# データの準備
labels = torch.tensor([0, 1, 1, 0, 1, 0, 1, 1, 0, 1])
predictions = torch.tensor([0.2, 0.8, 0.7, 0.1, 0.9, 0.3, 0.6, 0.5, 0.4, 0.8])

# SummaryWriter のインスタンスを作成
writer = SummaryWriter()

# 異なる閾値を使用した PR 曲線を追加
writer.add_pr_curve(tag="my_pr_curve", labels=labels, predictions=predictions, num_thresholds=10)

# イベントファイルを閉じる
writer.close()

マルチクラス分類

import torch
from torch.utils.tensorboard import SummaryWriter

# データの準備
labels = torch.tensor([0, 1, 2, 0, 1, 2, 0, 1, 2, 0])
predictions = torch.tensor([[0.2, 0.8, 0.1],
                          [0.1, 0.7, 0.2],
                          [0.3, 0.6, 0.1],
                          [0.2, 0.8, 0.1],
                          [0.1, 0.7, 0.2],
                          [0.3, 0.6, 0.1],
                          [0.2, 0.8, 0.1],
                          [0.1, 0.7, 0.2],
                          [0.3, 0.6, 0.1],
                          [0.2, 0.8, 0.1]])

# SummaryWriter のインスタンスを作成
writer = SummaryWriter()

# マルチクラス分類用の PR 曲線を追加
writer.add_pr_curve(tag="my_pr_curve", labels=labels, predictions=predictions)

# イベントファイルを閉じる
writer.close()

PyTorch Tensorboard で PR 曲線を可視化する他の方法

• matplotlib は Python でグラフ作成ライブラリ
• PR 曲線を描画するために直接使用可能
• コード量は Tensorboard より多い
• 詳細なカスタマイズが可能

scikit-learn を使用

• scikit-learn は Python で機械学習ライブラリ
• precision_recall_curve 関数で PR 曲線計算可能
• Tensorboard よりもシンプルなコード

seaborn を使用

• seaborn は Python でデータ可視化ライブラリ
• matplotlib よりも洗練されたデザイン

自作の関数を使用

• 上記のライブラリを使用せず、自作の関数で PR 曲線計算・描画可能
• 柔軟性が高い
• コード量は増える

それぞれの方法のメリットとデメリット

• 簡単さを求める場合は Tensorboard
• 詳細なカスタマイズが必要場合は matplotlib
• シンプルなコードを求める場合は scikit-learn
• 洗練されたデザインを求める場合は seaborn
• 柔軟性を求める場合は自作関数