PyTorch Probability Distributionsでサンプル形状を変更する

PyTorch Probability DistributionsにおけるReshapeTransform

使用例

import torch
from torch.distributions import transforms

# 元の分布
dist = torch.distributions.Normal(torch.zeros(2), torch.ones(2))

# サンプル形状：(2,) -> (4,)
reshape_transform = transforms.ReshapeTransform((2, 2))
transformed_dist = dist.transform(reshape_transform)

# サンプル生成
samples = transformed_dist.sample()
print(samples.shape)  # (2, 2)

# 異なる形状の分布の比較
dist1 = torch.distributions.Normal(torch.zeros(2), torch.ones(2))
dist2 = torch.distributions.Normal(torch.zeros(4), torch.ones(4))

# 形状を一致させる
reshape_transform = transforms.ReshapeTransform((2, 2))
dist1 = dist1.transform(reshape_transform)

# KLダイバージェンス計算
kl_divergence = torch.distributions.kl_divergence(dist1, dist2)
print(kl_divergence)

主な引数

• input_shape: 入力サンプルの形状
• validate_args: 入力形状と出力形状の一貫性を検証するかどうか

ReshapeTransform を使ったサンプルコード

サンプル形状の変更

import torch
from torch.distributions import transforms

# 元の分布
dist = torch.distributions.Normal(torch.zeros(3), torch.ones(3))

# サンプル形状：(3,) -> (2, 3)
reshape_transform = transforms.ReshapeTransform((2, 3))
transformed_dist = dist.transform(reshape_transform)

# サンプル生成
samples = transformed_dist.sample()
print(samples.shape)  # (2, 3)

バッチサイズ変更

import torch
from torch.distributions import transforms

# 元の分布
dist = torch.distributions.Normal(torch.zeros(10, 3), torch.ones(10, 3))

# バッチサイズ変更：(10, 3) -> (3, 10)
reshape_transform = transforms.ReshapeTransform((3, 10))
transformed_dist = dist.transform(reshape_transform)

# サンプル生成
samples = transformed_dist.sample()
print(samples.shape)  # (3, 10)

異なる形状を持つ分布の比較

import torch
from torch.distributions import transforms

# 元の分布
dist1 = torch.distributions.Normal(torch.zeros(2, 3), torch.ones(2, 3))
dist2 = torch.distributions.Normal(torch.zeros(3, 2), torch.ones(3, 2))

# 形状を一致させる
reshape_transform = transforms.ReshapeTransform((2, 3))
dist2 = dist2.transform(reshape_transform)

# KLダイバージェンス計算
kl_divergence = torch.distributions.kl_divergence(dist1, dist2)
print(kl_divergence)

条件付き分布への適用

import torch
from torch.distributions import transforms, Conditional

# 元の分布
base_dist = torch.distributions.Normal(torch.zeros(3), torch.ones(3))
cond_dist = torch.distributions.Categorical(torch.ones(3))

# 条件付き分布
conditional_dist = Conditional(base_dist, cond_dist)

# サンプル形状：(3,) -> (2, 3)
reshape_transform = transforms.ReshapeTransform((2, 3))
transformed_dist = conditional_dist.transform(reshape_transform)

# サンプル生成
samples = transformed_dist.sample(condition=torch.tensor([0, 1]))
print(samples.shape)  # (2, 3)

ReshapeTransform の代替方法

torch.view 関数は、テンソルの形状を変更するために使用できます。これは、ReshapeTransform よりも簡潔な方法ですが、バッチサイズや条件付き分布などの複雑な形状変更には対応できません。

import torch

# 元の分布
dist = torch.distributions.Normal(torch.zeros(3), torch.ones(3))

# サンプル形状：(3,) -> (2, 3)
samples = dist.sample().view(2, 3)

# サンプル生成
print(samples.shape)  # (2, 3)

自作の変換クラス

より複雑な形状変更を行う場合は、自作の変換クラスを作成することができます。この方法は、柔軟性がありますが、コード量が増加します。

import torch
from torch.distributions.transforms import Transform

class MyTransform(Transform):
    def __init__(self, input_shape, output_shape):
        super().__init__()
        self.input_shape = input_shape
        self.output_shape = output_shape

    def __call__(self, samples):
        return samples.view(self.output_shape)

    def inverse(self, samples):
        return samples.view(self.input_shape)

# 元の分布
dist = torch.distributions.Normal(torch.zeros(3), torch.ones(3))

# サンプル形状：(3,) -> (2, 3)
my_transform = MyTransform((3,), (2, 3))
transformed_dist = dist.transform(my_transform)

# サンプル生成
samples = transformed_dist.sample()
print(samples.shape)  # (2, 3)

これらの方法はそれぞれ、異なる利点と欠点があります。使用する方法は、特定のアプリケーションによって異なります。