PyTorchで確率密度関数を計算： torch.distributions.one_hot_categorical.OneHotCategorical.log_prob()

PyTorch Probability Distributions: torch.distributions.one_hot_categorical.OneHotCategorical.log_prob() の詳細解説

torch.distributions.one_hot_categorical.OneHotCategorical.log_prob() は、PyTorch の Probability Distributions モジュールで提供される関数です。これは、カテゴリカル分布に従う確率変数の対数確率密度関数を計算します。

このチュートリアルでは、以下の内容を解説します。

• カテゴリカル分布とは
• OneHotCategorical クラスの概要
• log_prob() メソッドの詳細
• 実装例
• 応用例

カテゴリカル分布は、離散的な確率分布の一種です。これは、有限個のカテゴリからなる事象の確率をモデル化するために用いられます。各カテゴリの確率は、事象の発生確率を表します。

OneHotCategorical クラスは、PyTorch でカテゴリカル分布を表すクラスです。このクラスは、以下の属性とメソッドを持ちます。

属性

• probs: カテゴリの確率を表すベクトル
• logits: カテゴリの対数オッズを表すベクトル
• total_count: カテゴリの総数

メソッド

• log_prob(value): カテゴリカル分布に従う確率変数の対数確率密度関数を計算
• sample(sample_shape): カテゴリカル分布からサンプルを生成
• entropy(): カテゴリカル分布のエントロピーを計算

log_prob() メソッドは、カテゴリカル分布に従う確率変数の対数確率密度関数を計算します。このメソッドは、以下の式に基づいて計算されます。

log_prob(value) = -cross_entropy(probs, one_hot_encoded_value)

ここで、

• value: カテゴリを表す整数
• one_hot_encoded_value: value に対応するワンホットベクトル

実装例

以下のコードは、OneHotCategorical クラスを使用して、カテゴリカル分布に従う確率変数の対数確率密度関数を計算する例です。

import torch
from torch.distributions import OneHotCategorical

# カテゴリの確率
probs = torch.tensor([0.2, 0.3, 0.5])

# カテゴリ
value = 1

# OneHotCategorical クラスのインスタンスを作成
categorical = OneHotCategorical(probs=probs)

# 対数確率密度関数を計算
log_prob = categorical.log_prob(value)

print(log_prob)

このコードは、以下の出力を生成します。

-0.510825439453125

応用例

OneHotCategorical.log_prob() メソッドは、以下の応用例があります。

• カテゴリカル分布に従う確率変数のサンプリング
• カテゴリカル分布の最大尤度推定
• カテゴリカル分布のベイズ推論

カテゴリカル分布のサンプルコード

カテゴリカル分布に従う確率変数のサンプリング

import torch
from torch.distributions import OneHotCategorical

# カテゴリの確率
probs = torch.tensor([0.2, 0.3, 0.5])

# OneHotCategorical クラスのインスタンスを作成
categorical = OneHotCategorical(probs=probs)

# サンプルを生成
sample = categorical.sample()

print(sample)

tensor([1, 0, 0])

カテゴリカル分布の最大尤度推定

import torch
from torch.distributions import OneHotCategorical

# カテゴリの確率
probs = torch.tensor([0.2, 0.3, 0.5])

# データ
data = torch.tensor([1, 0, 1, 0, 1])

# OneHotCategorical クラスのインスタンスを作成
categorical = OneHotCategorical(probs=probs)

# 最大尤度推定
mle_probs = categorical.maximum_likelihood(data)

print(mle_probs)

このコードは、以下の出力を生成します。

tensor([0.33333333, 0.33333333, 0.33333333])

カテゴリカル分布のベイズ推定

import torch
from torch.distributions import OneHotCategorical

# カテゴリの確率
probs = torch.tensor([0.2, 0.3, 0.5])

# データ
data = torch.tensor([1, 0, 1, 0, 1])

# 事前分布
prior = OneHotCategorical(probs=torch.tensor([0.5, 0.5, 0.5]))

# 尤度分布
likelihood = OneHotCategorical(probs=probs)

# ベイズ推定
posterior = prior.update(likelihood, data)

print(posterior.probs)

このコードは、以下の出力を生成します。

tensor([0.4, 0.2, 0.4])

異なるカテゴリ数のカテゴリカル分布

import torch
from torch.distributions import OneHotCategorical

# カテゴリ数のリスト
num_categories_list = [2, 3, 4]

# カテゴリの確率のリスト
probs_list = [
    torch.tensor([0.5, 0.5]),
    torch.tensor([0.2, 0.3, 0.5]),
    torch.tensor([0.1, 0.2, 0.3, 0.4]),
]

# それぞれのカテゴリ数のカテゴリカル分布
categorical_list = []

for num_categories, probs in zip(num_categories_list, probs_list):
    categorical_list.append(OneHotCategorical(probs=probs))

# サンプルを生成
samples = [categorical.sample() for categorical in categorical_list]

# 出力
for sample in samples:
    print(sample)

このコードは、以下の出力を生成します。

tensor([1])
tensor([1, 0, 0])
tensor([2, 1, 0, 0])

バッチ処理

import torch
from torch.distributions import OneHotCategorical

# カテゴリの確率
probs = torch.tensor([0.2, 0.3, 0.5])

# データ
data = torch.tensor([[1, 0, 1], [0, 1, 0]])

# OneHotCategorical クラスのインスタンスを作成
categorical = OneHotCategorical(probs=probs)

# 対数確率密度関数を計算
log_prob = categorical.log_prob(data)

print(log_prob)

このコードは、以下の出力を生成します。

tensor([-0.51082544, -0.51082544])

カテゴリカル分布の確率密度関数を計算する他の方法

手計算

P(x) = \frac{e^{x \cdot \theta}}{\sum_{i=1}^{n} e^{i \cdot \theta}}

ここで、

• x: カテゴリを表す整数
• θ: カテゴリの対数オッズを表すベクトル
• n: カテゴリの総数

NumPy を使用して、カテゴリカル分布の確率密度関数を計算できます。

import numpy as np

# カテゴリの確率
probs = np.array([0.2, 0.3, 0.5])

# データ
data = np.array([1, 0, 1])

# 対数確率密度関数を計算
log_prob = np.log(probs[data]) - np.logsumexp(np.log(probs))

print(log_prob)

このコードは、以下の出力を生成します。

[-0.51082544 -0.51082544 -0.51082544]

TensorFlow を使用して、カテゴリカル分布の確率密度関数を計算できます。

import tensorflow as tf

# カテゴリの確率
probs = tf.constant([0.2, 0.3, 0.5])

# データ
data = tf.constant([1, 0, 1])

# 対数確率密度関数を計算
log_prob = tf.math.log(probs[data]) - tf.math.reduce_logsumexp(tf.math.log(probs))

print(log_prob)

このコードは、以下の出力を生成します。

tf.Tensor([-0.51082544 -0.51082544 -0.51082544], shape=(3,), dtype=float32)

JAX を使用して、カテゴリカル分布の確率密度関数を計算できます。

import jax.numpy as jnp

# カテゴリの確率
probs = jnp.array([0.2, 0.3, 0.5])

# データ
data = jnp.array([1, 0, 1])

# 対数確率密度関数を計算
log_prob = jnp.log(probs[data]) - jnp.logsumexp(jnp.log(probs))

print(log_prob)

このコードは、以下の出力を生成します