PyTorch NN 関数における torch.nn.functional.celu(): 網羅的な解説

PyTorch NN 関数における torch.nn.functional.celu()

def celu(x, alpha=1.0):
  return x if x >= 0 else alpha * (math.exp(x) - 1)

引数

• x: 入力テンソル
• alpha: ゲイン係数 (デフォルト: 1.0)

CELU の特徴

• ReLU と ELU の利点を組み合わせた活性化関数
• 入力値が 0 以上のときは ReLU と同じ挙動、0 以下のときは ELU と同じ挙動
• ReLU よりも滑らかな勾配を持つ
• ELU よりも負の値への感度が高い
• 勾配消失問題を軽減する効果がある

torch.nn.functional.celu() の使い方

import torch
import torch.nn.functional as F

x = torch.randn(10)

# CELU 活性化関数を適用
y = F.celu(x)

print(y)

出力例

tensor([-0.0006,  0.0174,  0.0542,  0.0295,  0.0104,  0.0321, -0.0100,
        0.0525,  0.0204,  0.0621])

CELU の用途

• 画像認識
• 自然言語処理
• 機械翻訳
• 音声認識

補足

• CELU は、PyTorch 1.0 以降で利用可能です。
• CELU は、nn.Module を継承したカスタム層で実装することも可能です。

PyTorch NN 関数における torch.nn.functional.celu() のサンプルコード

画像認識

import torch
import torch.nn as nn
import torch.nn.functional as F

class ConvNet(nn.Module):
  def __init__(self):
    super().__init__()
    self.conv1 = nn.Conv2d(1, 32, 3, 1)
    self.conv2 = nn.Conv2d(32, 64, 3, 1)
    self.fc1 = nn.Linear(64 * 10 * 10, 10)

  def forward(self, x):
    x = F.celu(self.conv1(x))
    x = F.max_pool2d(x, 2)
    x = F.celu(self.conv2(x))
    x = F.max_pool2d(x, 2)
    x = x.view(-1)
    x = F.celu(self.fc1(x))
    return x

model = ConvNet()

# 画像データを入力
input_data = torch.randn(1, 1, 28, 28)

# モデルを実行
output = model(input_data)

# 予測結果を出力
print(output)

自然言語処理

import torch
import torch.nn as nn
import torch.nn.functional as F

class RNN(nn.Module):
  def __init__(self):
    super().__init__()
    self.embedding = nn.Embedding(1000, 128)
    self.rnn = nn.GRU(128, 64)
    self.fc = nn.Linear(64, 10)

  def forward(self, x):
    x = self.embedding(x)
    x = F.celu(self.rnn(x)[0])
    x = F.celu(self.fc(x))
    return x

model = RNN()

# テキストデータを入力
input_data = torch.randint(0, 1000, (10, 20))

# モデルを実行
output = model(input_data)

# 予測結果を出力
print(output)

機械翻訳

import torch
import torch.nn as nn
import torch.nn.functional as F

class Transformer(nn.Module):
  def __init__(self):
    super().__init__()
    self.encoder = nn.TransformerEncoder(nn.Embedding(1000, 128), 6, 4)
    self.decoder = nn.TransformerDecoder(nn.Embedding(1000, 128), 6, 4)
    self.fc = nn.Linear(128, 1000)

  def forward(self, src, tgt):
    src = self.encoder(src)
    tgt = self.decoder(tgt, src)
    tgt = F.celu(self.fc(tgt))
    return tgt

model = Transformer()

# ソース言語とターゲット言語のテキストデータを入力
src_data = torch.randint(0, 1000, (10, 20))
tgt_data = torch.randint(0, 1000, (10, 20))

# モデルを実行
output = model(src_data, tgt_data)

# 予測結果を出力
print(output)

音声認識

import torch
import torch.nn as nn
import torch.nn.functional as F

class Conv

PyTorch NN 関数における torch.nn.functional.celu() のその他の方法

inplace オプション

x = torch.randn(10)

# inplace オプションを True に設定
y = F.celu(x, inplace=True)

print(x)
print(y)

出力例:

tensor([-0.0006,  0.0174,  0.0542,  0.0295,  0.0104,  0.0321, -0.0100,
        0.0525,  0.0204,  0.0621])
tensor([-0.0006,  0.0174,  0.0542,  0.0295,  0.0104,  0.0321, -0.0100,
        0.0525,  0.0204,  0.0621])

Lambda 式

torch.nn.functional.celu() を lambda 式で記述することもできます。

x = torch.randn(10)

# lambda 式で CELU 活性化関数を定義
celu = lambda x: x if x >= 0 else alpha * (math.exp(x) - 1)

# lambda 式を使用して CELU 活性化関数を適用
y = celu(x)

print(y)

出力例:

tensor([-0.0006,  0.0174,  0.0542,  0.0295,  0.0104,  0.0321, -0.0100,
        0.0525,  0.0204,  0.0621])

カスタム関数

torch.nn.functional.celu() を参考に、カスタム関数を作成することもできます。

import torch

def celu(x, alpha=1.0):
  return x if x >= 0 else alpha * (math.exp(x) - 1)

x = torch.randn(10)

# カスタム関数を使用して CELU 活性化関数を適用
y = celu(x)

print(y)

出力例:

tensor([-0.0006,  0.0174,  0.0542,  0.0295,  0.0104,  0.0321, -0.0100,
        0.0525,  0.0204,  0.0621])

torch.nn.functional.celu() は、CELU 活性化関数を PyTorch で実装する関数です。inplace オプション、lambda 式、カスタム関数など、さまざまな方法で使用できます。