PyTorch チュートリアル：Tensor.normal_() メソッドを使ってニューラルネットワークの重みを初期化

PyTorch Tensor.normal_() メソッドの解説

torch.Tensor.normal_() メソッドは、テンソルの各要素を正規分布に従ってランダムな値で初期化します。

引数

• mean: 平均 (デフォルト: 0)
• std: 標準偏差 (デフォルト: 1)

戻り値

• 元のテンソル

例

import torch

# 平均0、標準偏差1の正規分布に従ってランダムな値で初期化されたテンソルを作成
tensor = torch.randn(3, 4)

# 平均2、標準偏差0.5の正規分布に従ってランダムな値でテンソルの各要素を初期化
tensor.normal_(2, 0.5)

print(tensor)

出力例

tensor([[1.9983, 1.0910, 1.2132, 0.5312],
       [1.1144, 1.5511, 2.0277, 0.7690],
       [1.4443, 1.7001, 1.2924, 0.9453]])

詳細

• mean と std は、テンソルと同じ形状のテンソルでも指定できます。
• normal_() メソッドは、元のテンソルの内容を置き換えます。
• inplace メソッドなので、元のテンソルを変えずに新しいテンソルを作成したい場合は、torch.normal(mean, std) を使用します。

補足

• torch.normal_() メソッドは、ニューラルネットワークの重みを初期化するために使用されます。
• 生成される乱数は、デフォルトでガウス分布に従いますが、他の分布に従うようにすることもできます。

応用例

• ニューラルネットワークの重みの初期化
• データの生成
• モンテカルロシミュレーション

平均と標準偏差を指定

import torch

# 平均0、標準偏差1の正規分布に従ってランダムな値で初期化されたテンソルを作成
tensor = torch.randn(3, 4)

# 平均2、標準偏差0.5の正規分布に従ってランダムな値でテンソルの各要素を初期化
tensor.normal_(2, 0.5)

print(tensor)

tensor([[1.9983, 1.0910, 1.2132, 0.5312],
       [1.1144, 1.5511, 2.0277, 0.7690],
       [1.4443, 1.7001, 1.2924, 0.9453]])

テンソル形状で平均と標準偏差を指定

import torch

# 平均と標準偏差をランダムな値で初期化
mean = torch.rand(3, 4)
std = torch.rand(3, 4)

# テンソル形状で平均と標準偏差を指定
tensor.normal_(mean, std)

print(tensor)

出力例

tensor([[1.2345, 0.6789, 1.0123, 0.4567],
       [0.8901, 1.3456, 1.7890, 1.2345],
       [1.6789, 2.0123, 1.4567, 1.8901]])

inplace=False で新しいテンソルを作成

import torch

# 平均0、標準偏差1の正規分布に従ってランダムな値で初期化されたテンソルを作成
tensor = torch.randn(3, 4)

# inplace=False で新しいテンソルを作成
new_tensor = torch.normal(mean=0, std=1, size=(3, 4))

print(tensor)
print(new_tensor)

出力例

tensor([[ 0.0000, -0.5534, -0.1122,  0.3345],
       [ 0.1234,  0.4567,  0.2345, -0.3456],
       [ 0.7890,  0.1234, -0.5678,  0.9012]])
tensor([[ 0.1234,  0.4567,  0.2345, -0.3456],
       [ 0.7890,  0.1234, -0.5678,  0.9012],
       [-0.0123, -0.4567,  0.3456,  0.1234]])

その他の分布

torch.normal_() メソッドは、ガウス分布以外にも様々な分布に従って乱数を生成できます。

• 一様分布: torch.rand()
• 指数分布: torch.exponential()
• ガンマ分布: torch.gamma()
• ベータ分布: torch.beta()

これらの分布の詳細については、PyTorch ドキュメントを参照してください。

torch.Tensor.normal_() メソッドの代替方法

torch.rand()

torch.rand() メソッドは、一様分布に従ってランダムな値を生成します。

import torch

# 一様分布に従ってランダムな値で初期化されたテンソルを作成
tensor = torch.rand(3, 4)

print(tensor)

出力例

tensor([[0.6789, 0.4567, 0.1234, 0.8901],
       [0.3456, 0.7890, 0.2345, 0.0123],
       [0.9012, 0.5678, 0.4567, 0.6789]])

torch.randn()

torch.randn() メソッドは、標準正規分布に従ってランダムな値を生成します。

import torch

# 標準正規分布に従ってランダムな値で初期化されたテンソルを作成
tensor = torch.randn(3, 4)

print(tensor)

出力例

tensor([[ 0.0000, -0.5534, -0.1122,  0.3345],
       [ 0.1234,  0.4567,  0.2345, -0.3456],
       [ 0.7890,  0.1234, -0.5678,  0.9012]])

NumPy を使用して、テンソルの各要素をランダムな値で初期化することもできます。

import numpy as np
import torch

# NumPyを使用して標準正規分布に従ってランダムな値を生成
array = np.random.randn(3, 4)

# NumPy配列からPyTorchテンソルを作成
tensor = torch.from_numpy(array)

print(tensor)

出力例

tensor([[ 0.0000, -0.5534, -0.1122,  0.3345],
       [ 0.1234,  0.4567,  0.2345, -0.3456],
       [ 0.7890,  0.1234, -0.5678,  0.9012]])

これらの方法は、それぞれ異なる分布に従ってランダムな値を生成します。使用する方法は、目的によって異なります。

torch.Tensor.normal_() メソッドは、テンソルの各要素を正規分布に従ってランダムな値で初期化する便利な方法です。しかし、他の方法も存在し、それぞれ異なる利点と欠点があります。目的に応じて適切な方法を選択することが重要です。