PyTorch Tensor の logit() メソッドとは？

PyTorch Tensor の logit() メソッド

torch.Tensor.logit() メソッドは、シグモイド関数（ロジスティック関数）の逆関数を計算します。つまり、入力された確率（0から1までの範囲）を、その確率に対応するlogit値に変換します。

logit() メソッドの役割

• ロジスティック回帰などのモデルで、入力データと出力ラベル間の関係を線形化するために使用されます。
• シグモイド関数は、確率を0から1までの範囲に制限する関数です。しかし、線形回帰などのモデルでは、入力データと出力ラベル間の関係を線形に表現する必要があります。そこで、logit() メソッドを使用して、確率をlogit値に変換することで、線形化を実現します。

logit() メソッドの引数

• eps (float, optional): 数値的な安定性を確保するために、入力値に小さな値を加算するオプションの引数です。デフォルト値は1e-8です。

logit() メソッドの出力

• 入力されたTensorと同じ形状のTensor。各要素は、入力された確率に対応するlogit値に変換されています。

logit() メソッドの例

import torch

# シグモイド関数
def sigmoid(x):
  return 1 / (1 + torch.exp(-x))

# 入力データ
x = torch.tensor([0.1, 0.5, 0.9])

# logit() メソッドによる変換
logits = torch.logit(x)

# シグモイド関数による変換
y = sigmoid(logits)

print(logits)
# tensor([-2.3025851,  0.,  2.3025851])

print(y)
# tensor([0.1, 0.5, 0.9])

補足

• logit() メソッドは、逆シグモイド関数とも呼ばれます。
• logit() メソッドは、オッズ比を計算するためにも使用できます。

PyTorch Tensor の logit() メソッドのサンプルコード

ロジスティック回帰モデル

import torch
import torch.nn as nn

# データ
x = torch.tensor([[1., 2.], [3., 4.]])
y = torch.tensor([0, 1])

# モデル
model = nn.LogisticRegression(2, 1)

# 損失関数
criterion = nn.BCEWithLogitsLoss()

# オプティマイザ
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 学習
for epoch in range(1000):
    # 順伝播
    outputs = model(x)

    # 損失計算
    loss = criterion(outputs, y)

    # 逆伝播
    optimizer.zero_grad()
    loss.backward()

    # パラメータ更新
    optimizer.step()

# 予測
predictions = torch.round(torch.sigmoid(model(x)))

print(predictions)
# tensor([0, 1])

オッズ比の計算

import torch

# 確率
p = torch.tensor([0.1, 0.5, 0.9])

# logit() メソッドによる変換
logits = torch.logit(p)

# オッズ比
odds_ratios = torch.exp(logits)

print(odds_ratios)
# tensor([0.11034243, 1.64872127, 8.10828172])

画像分類モデル

import torch
import torchvision

# データ
transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

trainset = torchvision.datasets.MNIST('~/.pytorch/MNIST_data/', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# モデル
model = torchvision.models.resnet18(pretrained=True)

# 損失関数
criterion = nn.CrossEntropyLoss()

# オプティマイザ
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 学習
for epoch in range(10):
    for images, labels in trainloader:
        # 順伝播
        outputs = model(images)

        # 損失計算
        loss = criterion(outputs, labels)

        # 逆伝播
        optimizer.zero_grad()
        loss.backward()

        # パラメータ更新
        optimizer.step()

# 予測
images, labels = next(iter(trainloader))

outputs = model(images)

# logit() メソッドによる変換
logits = torch.logit(outputs)

# 予測ラベル
predictions = torch.argmax(logits, dim=1)

print(predictions)
# tensor([0, 1, 2, ..., 59, 60, 61])

サンプルコードを参考に、logit() メソッドの使い方を理解し、さまざまなタスクに応用してください。

PyTorch Tensor の logit() メソッド以外の方法

シグモイド関数の逆関数を自作する

def inv_sigmoid(x):
  return torch.log(x / (1 - x))

# 入力データ
x = torch.tensor([0.1, 0.5, 0.9])

# シグモイド関数の逆関数
logits = inv_sigmoid(x)

print(logits)
# tensor([-2.3025851,  0.,  2.3025851])

NumPy ライブラリを使用する

import numpy as np

# 入力データ
x = np.array([0.1, 0.5, 0.9])

# NumPy ライブラリのlogit() 関数
logits = np.log(x / (1 - x))

print(logits)
# [-2.30258509  0.         2.30258509]

• 上記のサンプルコードは、あくまでも参考です。必要に応じて、コードを修正してください。
• logit() メソッドは、数値的な安定性を確保するために、入力値に小さな値を加算します。この値は、eps 引数で指定できます。