torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal.rsample() の詳細解説

PyTorch Probability Distributions: torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal.rsample() の詳細解説

torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal.rsample() は、低ランク多変量正規分布からランダムサンプルを生成する関数です。この関数は、共分散行列が低ランク構造を持つ場合に効率的なサンプリングを提供します。

理論背景:

多変量正規分布は、平均ベクトル loc と共分散行列 covariance_matrix を持つ確率分布です。共分散行列は、データの散布度を表します。

低ランク多変量正規分布では、共分散行列は以下のように低ランク構造を持つと仮定されます。

covariance_matrix = W @ W.T + D

ここで、W は (d x r) 行列、D は d 次元対角行列、r は共分散行列のランクを表します。

この構造により、共分散行列の計算量とメモリ使用量が大幅に削減されます。

rsample() 関数は、以下の引数を受け取ります。

• loc: 平均ベクトル (torch.Tensor)
• cov_factor: 低ランク部分を表す行列 W (torch.Tensor)
• cov_diag: 対角部分を表すベクトル D (torch.Tensor)
• sample_shape: 生成するサンプルの形状 (torch.Size)

この関数は、以下の処理を実行します。

1. 標準正規乱数 z を生成します。
2. z を W と D を用いて変換します。
3. 変換されたベクトルに loc を加算します。

この処理により、低ランク多変量正規分布からランダムサンプルが生成されます。

コード例:

import torch
from torch.distributions import lowrank_multivariate_normal

# 平均ベクトル
loc = torch.zeros(2)

# 低ランク部分
cov_factor = torch.tensor([[1., 0.], [0., 1.]])

# 対角部分
cov_diag = torch.ones(2)

# サンプル形状
sample_shape = torch.Size([10, 2])

# ランダムサンプルの生成
samples = lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag).rsample(sample_shape)

print(samples)

このコードは、平均ベクトル [0, 0]、低ランク部分 [[1, 0], [0, 1]]、対角部分 [1, 1]を持つ低ランク多変量正規分布から 10 個のサンプルを生成します。

利点:

• 従来の多変量正規分布に比べて、共分散行列の計算量とメモリ使用量が削減されます。
• 低ランク構造を持つデータセットに有効です。

欠点:

• 従来の多変量正規分布よりも複雑な実装が必要です。
• ランクの選択が重要であり、不適切な選択は精度低下につながります。

補足:

• rsample() 関数は、確率勾配法などの推論アルゴリズムで効率的に使用できます。
• torch.distributions モジュールには、様々な確率分布のクラスが用意されています。

• ご不明な点があれば、お気軽にご質問ください。

さまざまなサンプルコード

異なる共分散構造を持つサンプル生成

import torch
from torch.distributions import lowrank_multivariate_normal

# 平均ベクトル
loc = torch.zeros(2)

# 共分散構造
covariance_structures = {
    "full": torch.eye(2),
    "diagonal": torch.diag(torch.ones(2)),
    "low_rank": {
        "cov_factor": torch.tensor([[1., 0.], [0., 1.]]),
        "cov_diag": torch.ones(2),
    }
}

# 各共分散構造におけるサンプル生成
for name, covariance in covariance_structures.items():
    if name == "low_rank":
        mvn = lowrank_multivariate_normal.LowRankMultivariateNormal(loc, **covariance)
    else:
        mvn = lowrank_multivariate_normal.MultivariateNormal(loc, covariance)
    
    samples = mvn.rsample(torch.Size([10, 2]))
    print(f"{name} samples:")
    print(samples)
    print()

推論における rsample() 関数の使用

import torch
from torch.distributions import lowrank_multivariate_normal

# データ
data = torch.randn(100, 2)

# 平均ベクトル
loc = torch.zeros(2)

# 低ランク部分
cov_factor = torch.randn(2, 10)

# 対角部分
cov_diag = torch.ones(2)

# モデル
model = lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag)

# 負の対数尤度計算
def nll(model, data):
    return -model.log_prob(data).sum()

# 確率勾配法による推論
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

for epoch in range(100):
    optimizer.zero_grad()
    loss = nll(model, data)
    loss.backward()
    optimizer.step()

# 推論後のサンプル生成
samples = model.rsample(torch.Size([10, 2]))

print(f"推論後のサンプル:")
print(samples)

このコードは、低ランク多変量正規分布モデルを確率勾配法で推論し、推論後のサンプル生成を行います。

バッチ処理

import torch
from torch.distributions import lowrank_multivariate_normal

# バッチサイズ
batch_size = 10

# 平均ベクトル
loc = torch.zeros(batch_size, 2)

# 低ランク部分
cov_factor = torch.randn(batch_size, 2, 10)

# 対角部分
cov_diag = torch.ones(batch_size, 2)

# バッチ処理対応の低ランク多変量正規分布
mvn = lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag)

# サンプル生成
samples = mvn.rsample(torch.Size([batch_size, 10, 2]))

print(f"バッチサンプル:")
print(samples)

このコードは、バッチ処理に対応した rsample() 関数を使用して、複数のサンプルを同時に生成します。

GPU 使用

import torch
from torch.distributions import lowrank_multivariate_normal

# デバイス設定
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 平均ベクトル
loc = torch.zeros(2).to(device)

# 低ランク部分
cov_factor = torch.randn(2, 10).to(device)

# 対角部分
cov_diag = torch.ones(2).to(device)

# GPU 上の低ランク多変量正規分布
mvn = lowrank_multivariate_normal.LowRankMultivariateNormal(loc, cov_factor, cov_diag).to(device)

# サンプル生成
samples = mvn.rsample(torch.Size([10, 2])).to(device)

print(f"GPU 上のサンプル:")
print(samples)

このコードは、GPU 上で rsample() 関数を実行して、

その他の低ランク多変量正規分布サンプリング方法

ギブスサンプリングは、ベイズ統計における古典的なサンプリング手法です。この手法では、各変数を順番にサンプリングし、他の変数を固定します。

低ランク多変量正規分布の場合、以下の式を用いて各変数をサンプリングできます。

p(x_i | x_{-i}) = N(x_i | mu_i + sigma_i^2 * sum_{j != i} w_ij * x_j, sigma_i^2)

ここで、

• x_i は i 番目の変数
• x_{-i} は i 番目を除いた全ての変数
• mu_i は i 番目の変数の平均
• sigma_i^2 は i 番目の変数の分散
• w_ij は i 番目と j 番目の変数の共分散

この式は、標準正規分布からサンプリングを行うことで計算できます。

Metropolis-Hastings アルゴリズムは、マルコフ連鎖モンテカルロ法 (MCMC) の一種です。このアルゴリズムは、提案分布を用いて現在の状態から新しい状態を提案し、その状態を受け入れるかどうかを確率的に決定します。

低ランク多変量正規分布の場合、提案分布として多変量正規分布を用いることができます。

ランダムウォークメトロポリスアルゴリズムは、Metropolis-Hastings アルゴリズムの特殊な場合です。このアルゴリズムでは、提案分布として一様分布を用います。

低ランク多変量正規分布の場合、ランダムウォークメトロポリスアルゴリズムを用いて効率的にサンプリングを行うことができます。

その他の方法

上記以外にも、様々なサンプリング方法が存在します。

• アンサンブルサンプリング
• 適応的サンプリング
• Hamiltonian モンテカルロ法

これらの方法は、それぞれ異なる利点と欠点があります。

どのサンプリング方法を選択すべきかは、以下の要素を考慮する必要があります。

• データセットのサイズ
• 共分散構造の複雑性
• 必要な精度
• 計算資源

一般的に、データセットが小さい場合はギブスサンプリングやランダムウォークメトロポリスアルゴリズムが有効です。データセットが大きい場合は、Metropolis-Hastings アルゴリズムやアンサンブルサンプリングの方が有効な場合があります。

torch.distributions.lowrank_multivariate_normal.LowRankMultivariateNormal.rsample() は、低ランク多変量正規分布からサンプリングを行うための効率的な方法です。しかし、他にも様々なサンプリング方法が存在します。どの方法を選択すべきかは、データセットのサイズ、共分散構造の複雑性、必要な精度、計算資源などを考慮する必要があります。