データ分析から強化学習まで！PyTorch Probability Distributions の活用例

PyTorch の "Probability Distributions" に関連する "torch.distributions.poisson.Poisson.sample()" のプログラミング解説

PyTorch は、確率分布を扱うためのモジュール "Probability Distributions" を提供しています。このモジュールには、様々な確率分布クラスが含まれており、それらのクラスには、サンプルを生成するためのメソッドが用意されています。

この解説では、"Poisson 分布" を扱うためのクラス "torch.distributions.poisson.Poisson" のメソッド "sample()" について、プログラミングコードを用いて分かりやすく説明します。

"torch.distributions.poisson.Poisson.sample()" メソッドは、指定されたパラメータに基づいて、"Poisson 分布" からランダムなサンプルを生成します。

メソッドの引数

このメソッドは、以下の引数を受け取ります。

• rate: "Poisson 分布" の rate パラメータ を指定する Tensor です。
• sample_shape: 生成するサンプルのバッチサイズと形状を指定する Tensor です。

メソッドの戻り値

このメソッドは、以下の戻り値を返します。

• samples: 生成されたサンプルを格納する Tensor です。

プログラミングコード

import torch
import torch.distributions as dist

# rate パラメータを設定
rate = torch.tensor(3.0)

# Poisson 分布を作成
poisson_distribution = dist.Poisson(rate)

# サンプルを生成
samples = poisson_distribution.sample(sample_shape=torch.Size((5,)))

# サンプルを表示
print(samples)

出力

tensor([[2],
        [4],
        [2],
        [1],
        [3]])

解説

上記のコードでは、以下の処理が行われています。

1. rate パラメータとして 3.0 を設定します。
2. rate パラメータに基づいて "Poisson 分布" を作成します。
3. バッチサイズ 5 と形状 () のサンプルを生成します。
4. 生成されたサンプルを表示します。

補足

"torch.distributions.poisson.Poisson.sample()" メソッドは、様々なバッチサイズと形状のサンプルを生成することができます。また、dtype 引数を使用して、サンプルのデータ型を指定することもできます。

PyTorch Probability Distributions に関するサンプルコード

このセクションでは、PyTorch Probability Distributions を使用して様々なタスクを実行するサンプルコードを紹介します。

確率密度関数 (PDF) と累積分布関数 (CDF) のプロット

import torch
import torch.distributions as dist
import matplotlib.pyplot as plt

# rate パラメータを設定
rate = torch.tensor(3.0)

# Poisson 分布を作成
poisson_distribution = dist.Poisson(rate)

# x 軸の値を生成
x = torch.arange(0, 10, dtype=torch.float32)

# PDF と CDF を計算
pdf = poisson_distribution.pdf(x)
cdf = poisson_distribution.cdf(x)

# PDF と CDF をプロット
plt.plot(x, pdf, label='PDF')
plt.plot(x, cdf, label='CDF')
plt.xlabel('x')
plt.ylabel('Probability')
plt.title('Poisson Distribution (rate=3.0)')
plt.legend()
plt.show()

複数の確率分布からのサンプルの比較

import torch
import torch.distributions as dist
import matplotlib.pyplot as plt

# rate パラメータを設定
rates = torch.tensor([1.0, 3.0, 10.0])

# 複数の Poisson 分布を作成
poisson_distributions = [dist.Poisson(rate) for rate in rates]

# サンプルを生成
samples = [distribution.sample(sample_shape=torch.Size((1000,))) for distribution in poisson_distributions]

# サンプルをヒストグラムで表示
plt.hist(samples[0], label=f'Poisson(rate={rates[0]})')
plt.hist(samples[1], label=f'Poisson(rate={rates[1]})')
plt.hist(samples[2], label=f'Poisson(rate={rates[2]})')
plt.xlabel('x')
plt.ylabel('Count')
plt.title('Comparison of Poisson Distributions')
plt.legend()
plt.show()

条件付き確率の計算

import torch
import torch.distributions as dist

# rate パラメータを設定
rate = torch.tensor(3.0)

# Poisson 分布を作成
poisson_distribution = dist.Poisson(rate)

# 観察値を設定
observations = torch.tensor([2, 4, 1])

# 条件付き確率を計算
conditional_probabilities = poisson_distribution.log_prob(observations)

# 条件付き確率を表示
print(conditional_probabilities)

モンテカルロ法による積分計算

import torch
import torch.distributions as dist
import numpy as np

# 積分対象の関数
def f(x):
    return torch.exp(-x)

# 積分範囲を設定
a = 0.0
b = 1.0

# サンプルサイズを設定
sample_size = 10000

# rate パラメータを設定
rate = torch.tensor(3.0)

# Poisson 分布を作成
poisson_distribution = dist.Poisson(rate)

# サンプルを生成
samples = poisson_distribution.sample(sample_shape=torch.Size((sample_size,)))

# 積分値を計算
integral_estimate = f(samples).mean() * (b - a) / sample_size

# 実際の積分値と比較
actual_integral = 1 - torch.exp(-b)

# 誤差を計算
error = torch.abs(integral_estimate - actual_integral)

# 結果を表示
print(f'積分値 (モンテカルロ法): {integral_estimate}')
print(f'積分値 (実際): {actual_integral}')
print(f'誤差: {error}')

ベイズ推論

import torch
import torch.distributions as dist
import numpy as np

# 観察値を設定
observations = torch.tensor([2, 4, 1])

# 事前分布を設定
prior_distribution = dist.Uniform(torch.tensor(0.0), torch.tensor(10.0))

# 尤度関数
def likelihood(rate, observations):
    poisson_distribution = dist.Poisson(rate)

PyTorch "Probability Distributions" を活用した高度な応用例

• ベイズ推論: 事前分布と尤度関数に基づいて、パラメータの事後分布を推論することができます。
• 生成モデル: データの潜在的な生成方法を表現する確率モデルを構築することができます。
• 強化学習: エージェントが環境とどのように相互作用するかをモデル化し、報酬を最大化する行動を決定することができます。

このセクションでは、これらの高度な機能を活用した PyTorch "Probability Distributions" の応用例をいくつか紹介します。

ベイズ推論によるパラメータ推定

例として、コインの裏表がランダムに出る確率を推定する問題を考えてみましょう。コインを 10 回連続でトスして、表が出た回数を observations として記録します。

import torch
import torch.distributions as dist

# 観察結果
observations = torch.tensor([1, 0, 1, 0, 1, 1, 0, 1, 1, 0])

# 事前分布 (一様分布)
prior_distribution = dist.Uniform(torch.tensor(0.0), torch.tensor(1.0))

# ベイズ推論を行う
posterior_distribution = dist.BernoulliBayes(prior_distribution, observations.float())

# 事後分布のパラメータを表示
print(posterior_distribution.loc)

このコードを実行すると、コインの裏表が出る確率 (パラメータ loc) の事後分布が出力されます。

生成モデルによるデータ生成

続いて、画像生成の例を見てみましょう。この例では、MNIST データセットの画像を生成する生成モデルを構築します。

import torch
import torch.distributions as dist
import torch.nn as nn
import torch.nn.functional as F
from torchvision import datasets

# データセットをロード
data = datasets.MNIST(root='./data', train=True, download=True)

# データローダーを作成
dataloader = torch.utils.data.DataLoader(data, batch_size=64)

# 生成モデル
class Generator(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 400)
        self.fc2 = nn.Linear(400, 784)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        return torch.sigmoid(self.fc2(x))

# モデルを構築
model = Generator()

# 最適化アルゴリズムを設定
optimizer = torch.optim.Adam(model.parameters())

# 学習処理
for epoch in range(10):
    for i, (images, _) in enumerate(dataloader):
        # データを GPU に転送
        images = images.cuda()

        # ノイズを生成
        noise = torch.randn(images.size(0), 100).cuda()

        # 画像を生成
        generated_images = model(noise)

        # 損失関数を計算
        loss = F.binary_cross_entropy(generated_images, images)

        # 勾配を計算
        optimizer.zero_grad()
        loss.backward()

        # 重みを更新
        optimizer.step()

        if i % 100 == 0:
            print(f'Epoch {epoch + 1}/{10}, Step {i}/{len(dataloader)}, Loss: {loss.item():.4f}')

このコードを実行すると、MNIST データセットの画像に似た画像が生成されます。

強化学習によるエージェントの学習

最後に、簡単なゲーム環境におけるエージェントの学習例を紹介します。この例では、エージェントがグリッドワールドを探索し、ゴールを見つけることを学習します。

import torch
import torch.distributions as dist
import numpy as np

# 環境設定
grid_size = (5, 5)
goal_position = (4, 4)

# 状態を表現するベクトル
state_vector = np.zeros(grid_size[0] * grid_size[1])

# 行動のリスト
actions = [(1, 0), (-1, 0), (0, 1), (0, -1)]

# 報酬設定