torch.nn.Parameterを使いこなして、PyTorchのニューラルネットワークを構築

PyTorchのニューラルネットワークにおけるtorch.nn.Parameter

概要

主な機能

• ネットワークのパラメータを定義、管理
• 勾配計算による自動更新
• パラメータの初期化

コード例

import torch
import torch.nn as nn

class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 重みを定義
        self.weight = torch.nn.Parameter(torch.randn(10, 10))
        # バイアスを定義
        self.bias = torch.nn.Parameter(torch.randn(10))

    def forward(self, x):
        # 順伝播
        return torch.matmul(x, self.weight) + self.bias

net = MyNet()

# パラメータを確認
print(net.weight)
print(net.bias)

# 損失関数を定義
criterion = nn.MSELoss()

# 最適化アルゴリズムを定義
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)

# 訓練ループ
for epoch in range(100):
    # 順伝播
    outputs = net(x)

    # 損失計算
    loss = criterion(outputs, y)

    # 勾配計算
    loss.backward()

    # パラメータ更新
    optimizer.step()

# 訓練後のパラメータを確認
print(net.weight)
print(net.bias)

詳細

• torch.nn.Parameter は torch.Tensor を継承しており、テンサー演算が可能です。
• ネットワークのパラメータは net.parameters() で取得できます。
• パラメータの初期化方法は torch.nn.init モジュールで提供されています。
• 勾配計算は自動的に行われますが、手動で計算することも可能です。
• パラメータ更新は optimizer.step() メソッドで行われます。

補足

• torch.nn.Parameter は、ニューラルネットワークだけでなく、PyTorch の他のモジュールでも使用できます。
• torch.nn.Parameter は、学習可能な変数を表現するクラスですが、学習不可な変数を表現する torch.Tensor も使用できます。

PyTorch ニューラルネットワークにおけるtorch.nn.Parameterのサンプルコード

線形回帰

import torch
import torch.nn as nn

# データ
x = torch.linspace(-10, 10, 100)
y = 2 * x + 1

# モデル
class LinearRegression(nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(1))
        self.bias = torch.nn.Parameter(torch.randn(1))

    def forward(self, x):
        return x * self.weight + self.bias

model = LinearRegression()

# 損失関数
criterion = nn.MSELoss()

# 最適化アルゴリズム
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 訓練ループ
for epoch in range(100):
    # 順伝播
    outputs = model(x)

    # 損失計算
    loss = criterion(outputs, y)

    # 勾配計算
    loss.backward()

    # パラメータ更新
    optimizer.step()

# 訓練後のパラメータを確認
print(model.weight)
print(model.bias)

# 予測
y_pred = model(x)

# 結果の可視化
import matplotlib.pyplot as plt

plt.scatter(x, y)
plt.plot(x, y_pred, color="red")
plt.show()

MNIST分類

import torch
import torchvision
import torch.nn as nn

# データ
transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize((0.5,), (0.5,))
])

trainset = torchvision.datasets.MNIST(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64,
                                          shuffle=True)

testset = torchvision.datasets.MNIST(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64,
                                         shuffle=False)

# モデル
class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, 3, 1)
        self.conv2 = nn.Conv2d(32, 64, 3, 1)
        self.dropout1 = nn.Dropout(0.25)
        self.fc1 = nn.Linear(9216, 128)
        self.dropout2 = nn.Dropout(0.5)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = F.relu(x)
        x = self.conv2(x)
        x = F.max_pool2d(x, 2)
        x = self.dropout1(x)
        x = torch.flatten(x, 1)
        x = self.fc1(x)
        x = F.relu(x)
        x = self.dropout2(x)
        x = self.fc2(x)
        output = F.log_softmax(x, dim=1)
        return output

model = CNN()

# 損失関数
criterion = nn.CrossEntropyLoss()

# 最適化アルゴリズム
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# 訓練ループ
for epoch in range(10):
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # 入出力データ
        inputs, labels = data

        # 順伝播
        outputs = model(inputs)

        # 損失計算
        loss = criterion(outputs, labels)

        # 勾配計算
        optimizer.zero_grad()
        loss.backward()

        # パラメータ更新
        optimizer.step()

        # 損失の記録
        running_loss += loss.item()

    print(

PyTorch ニューラルネットワークにおけるtorch.nn.Parameterの使い方の補足

パラメータの初期化

• torch.nn.init.normal_：正規分布で初期化
• torch.nn.init.uniform_：一様分布で初期化
• torch.nn.init.constant_：定数で初期化
• torch.nn.init.xavier_normal_：Xavierの初期化
• torch.nn.init.kaiming_normal_：Kaimingの初期化

例：

# 重みを正規分布で初期化
self.weight = torch.nn.Parameter(torch.randn(10, 10))

# バイアスを一様分布で初期化
self.bias = torch.nn.Parameter(torch.rand(10))

パラメータの固定

訓練時に特定のパラメータを更新しないようにしたい場合は、requires_grad 属性を False に設定できます。

例：

# バイアスを更新しない
self.bias = torch.nn.Parameter(torch.rand(10), requires_grad=False)

パラメータの共有

複数のモジュール間でパラメータを共有したい場合は、torch.nn.Parameter オブジェクトを直接渡すことができます。

例：

class MyModule1(nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(10, 10))

class MyModule2(nn.Module):
    def __init__(self):
        super().__init__()
        self.my_module1 = MyModule1()
        # パラメータを共有
        self.weight = self.my_module1.weight

その他

• torch.nn.Parameter は、勾配計算を自動的に行うように設計されています。
• torch.nn.Parameter は、PyTorch の他のモジュールでも使用できます。