ELU vs Leaky ReLU vs SELU vs GELU：ニューラルネットワーク活性化関数の比較

PyTorchのニューラルネットワークにおけるtorch.nn.ELU

ELUとは？

ELUの式は以下の通りです。

ELU(x) = {
  x : x > 0
  α * (exp(x) - 1) : x <= 0
}

ここで、αはハイパーパラメータで、デフォルト値は1.0です。

ELUの利点

ELUには、以下の利点があります。

• ReLUよりも滑らかな勾配を持つため、勾配消失問題が発生しにくくなります。
• 負の入力値に対して、ReLUよりも情報量を保持することができます。
• ReLUと同様に、高速に計算することができます。

ELUの欠点

ELUには、以下の欠点があります。

• ReLUよりも計算コストが高いです。
• 出力値が常に正になるわけではないため、バイアス項が必要になる場合があります。

PyTorchでは、torch.nn.ELUモジュールを使用して、ELU関数をニューラルネットワークに組み込むことができます。

import torch

class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.elu = torch.nn.ELU()

  def forward(self, x):
    return self.elu(x)

model = MyModel()

# 入力
x = torch.randn(10, 10)

# 出力
y = model(x)

print(y)

ELUは、ReLUよりも滑らかな勾配を持つ活性化関数です。 PyTorchでは、torch.nn.ELUモジュールを使用して、ELU関数をニューラルネットワークに組み込むことができます。

PyTorchにおけるtorch.nn.ELUのサンプルコード

単純な例

import torch

class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.elu = torch.nn.ELU()

  def forward(self, x):
    return self.elu(x)

model = MyModel()

# 入力
x = torch.randn(10, 10)

# 出力
y = model(x)

print(y)

画像分類

import torch
from torchvision import datasets, transforms

# データセットの読み込み
train_dataset = datasets.MNIST(
  root=".",
  train=True,
  download=True,
  transform=transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
  ])
)

# データローダーの作成
train_loader = torch.utils.data.DataLoader(
  train_dataset,
  batch_size=64,
  shuffle=True
)

# モデルの定義
class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.conv1 = torch.nn.Conv2d(1, 32, 3, 1)
    self.elu1 = torch.nn.ELU()
    self.conv2 = torch.nn.Conv2d(32, 64, 3, 1)
    self.elu2 = torch.nn.ELU()
    self.fc1 = torch.nn.Linear(64 * 4 * 4, 10)

  def forward(self, x):
    x = self.conv1(x)
    x = self.elu1(x)
    x = self.conv2(x)
    x = self.elu2(x)
    x = x.view(-1, 64 * 4 * 4)
    x = self.fc1(x)
    return x

# モデルの生成
model = MyModel()

# 損失関数の定義
criterion = torch.nn.CrossEntropyLoss()

# オプティマイザの定義
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 学習
for epoch in range(10):
  for i, (images, labels) in enumerate(train_loader):
    # 順伝播
    outputs = model(images)

    # 損失の計算
    loss = criterion(outputs, labels)

    # オプティマイザによるパラメータ更新
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    # 10イテレーションごとに損失を出力
    if i % 10 == 0:
      print(f"Epoch: {epoch + 1}/{10}, Iteration: {i + 1}/{len(train_loader)}, Loss: {loss.item()}")

自然言語処理

import torch
from torchtext import data

# データセットの読み込み
train_dataset, test_dataset = data.IMDB.splits(root=".")

# データローダーの作成
train_loader = torch.utils.data.DataLoader(
  train_dataset,
  batch_size=64,
  shuffle=True
)

# モデルの定義
class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.embedding = torch.nn.Embedding(len(train_dataset.vocab), 100)
    self.lstm = torch.nn.LSTM(100, 128)
    self.elu

PyTorchにおけるtorch.nn.ELUのその他の方法

Leaky ReLU

import torch

class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.leaky_relu = torch.nn.LeakyReLU(0.1)

  def forward(self, x):
    return self.leaky_relu(x)

SELU (Scaled Exponential Linear Unit) は、ELUを改良した活性化関数です。ELUよりも出力値の分布が安定しており、学習がより安定しやすくなります。

import torch

class MyModel(torch.nn.Module):
  def __init__(self):
    super().__init__()
    self.selu = torch.nn.SELU()

  def forward(self, x):
    return self.selu(x)

GELU (Gaussian Error Linear Unit) は、