PyTorchでTransformerEncoder.forward()を使いこなす：エンコーダの動作を理解し、実装をマスターしよう

PyTorchのTransformerEncoder.forward()：詳細解説

PyTorchのtorch.nn.TransformerEncoderは、Transformerモデルのエンコーダ部分を実装するクラスです。forward() メソッドは、エンコーダ全体の処理を実行します。

入力

• src: 入力シーケンス。形状は (batch_size, seq_len, input_dim) です。
• src_mask: 入力シーケンスのアテンションマスク。形状は (batch_size, seq_len, seq_len) です。
• hidden: エンコーダの隠れ状態。形状は (num_layers, batch_size, hidden_dim) です。

出力

• output: エンコーダの出力シーケンス。形状は (batch_size, seq_len, hidden_dim) です。

処理の流れ

1. 自己アテンション:
   • 各入力トークンに対して、他のすべての入力トークンとの関連性を計算します。
   • アテンションスコアに基づいて、入力シーケンスの重み付けされた表現を生成します。
2. フィードフォワードネットワーク:
   • 自己アテンションの出力を受け取り、非線形変換を適用します。
   • エンコーダの隠れ状態を更新します。
3. レイヤーの繰り返し:
   • 上記の1と2を、設定されたレイヤー数分繰り返します。
4. 出力:

パラメータ

• num_layers: エンコーダのレイヤー数
• d_model: エンコーダの隠れ状態の次元数
• nhead: アテンションヘッドの数
• dim_feedforward: フィードフォワードネットワークの隠れ層の次元数
• dropout: ドロップアウト率

コード例

import torch
from torch.nn import TransformerEncoder

# エンコーダの定義
encoder = TransformerEncoder(
    num_layers=6,
    d_model=512,
    nhead=8,
    dim_feedforward=2048,
    dropout=0.1,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 50, 512)
src_mask = torch.tril(torch.ones(10, 50, 50))

# エンコーダの呼び出し
output, hidden, cell = encoder(src, src_mask)

# 出力シーケンスの形状
print(output.shape)  # torch.Size([10, 50, 512])

# 隠れ状態の形状
print(hidden.shape)  # torch.Size([6, 10, 512])

# セル状態の形状
print(cell.shape)  # torch.Size([6, 10, 512])

補足

• forward() メソッドは、torch.nn.Module クラスの抽象メソッドです。
• エンコーダの出力は、デコーダに入力されます。
• Transformerモデルは、機械翻訳、テキスト要約、音声認識などの様々なタスクに適用されています。

• 上記の説明は、基本的なものです。詳細は、上記の参考資料を参照してください。
• その他ご不明な点があれば、お気軽にご質問ください。

TransformerEncoder.forward() のサンプルコード

単純な例

import torch
from torch.nn import TransformerEncoder

# エンコーダの定義
encoder = TransformerEncoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))

# エンコーダの呼び出し
output, hidden, cell = encoder(src, src_mask)

# 出力シーケンス
print(output)

# 隠れ状態
print(hidden)

# セル状態
print(cell)

パディング付きの入力

import torch
from torch.nn import TransformerEncoder, Transformer

# エンコーダの定義
encoder = TransformerEncoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))
# パディングトークンを追加
padding_idx = 0
src = torch.cat([src, torch.zeros(10, 5, 128, dtype=torch.float)], dim=1)
src_mask = torch.cat([src_mask, torch.zeros(10, 5, 20, dtype=torch.bool)], dim=2)

# エンコーダの呼び出し
output, hidden, cell = encoder(src, src_mask)

# パディングトークンを除去
output = output[:, :20, :]

# 出力シーケンス
print(output)

# 隠れ状態
print(hidden)

# セル状態
print(cell)

ビームサーチによるデコード

import torch
from torch.nn import TransformerEncoder, TransformerDecoder, BeamSearch

# エンコーダとデコーダの定義
encoder = TransformerEncoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
)
decoder = TransformerDecoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
)

# ビームサーチの設定
beam_search = BeamSearch(
    beam_size=5,
    max_len=50,
    n_best=1,
    penalty=0.0,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))

# エンコーダの呼び出し
encoded_hidden = encoder(src, src_mask)

# デコーダの呼び出し
output, scores, attention = decoder(encoded_hidden, src_mask, None)

# ビームサーチによるデコード
decoded_tokens, scores = beam_search(decoder, encoded_hidden, src_mask, None)

# デコードされたトークン
print(decoded_tokens)

# スコア
print(scores)

• 上記のサンプルコードは、PyTorch 1.9.0 で動作確認しています。
• ご質問やご不明な点があれば、お気軽にご連絡ください。

TransformerEncoder を使用するその他の方法

• ロータリーエンコーディングは、位置情報をエンコードするために使用されます。
• マルチヘッドアテンションよりも計算コストが低くなります。
• torch.nn.TransformerEncoder クラスには、rotary_position_encoding 属性があり、ロータリーエンコーディングを有効にすることができます。

例

import torch
from torch.nn import TransformerEncoder

# エンコーダの定義
encoder = TransformerEncoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
    rotary_position_encoding=True,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))

# エンコーダの呼び出し
output, hidden, cell = encoder(src, src_mask)

畳み込み層を使用してエンコーダの隠れ状態を更新する

• 畳み込み層は、局所的な依存関係を学習することができます。
• Transformer モデルの並列性を向上させることができます。
• torch.nn.TransformerEncoder クラスには、conv_update_fn 属性があり、畳み込み層を使用してエンコーダの隠れ状態を更新する関数を指定することができます。

例

import torch
from torch.nn import TransformerEncoder, Conv1d

# 畳み込み層の定義
conv_update_fn = Conv1d(in_channels=128, out_channels=128, kernel_size=3, padding=1)

# エンコーダの定義
encoder = TransformerEncoder(
    num_layers=2,
    d_model=128,
    nhead=4,
    dim_feedforward=256,
    dropout=0.1,
    conv_update_fn=conv_update_fn,
)

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))

# エンコーダの呼び出し
output, hidden, cell = encoder(src, src_mask)

TransformerEncoder をカスタムモデルの一部として使用する

• TransformerEncoder クラスは、カスタムモデルの一部として使用することができます。
• 他のニューラルネットワーク層と組み合わせて、複雑なタスクを処理することができます。

例

import torch
from torch.nn import TransformerEncoder, Linear

# カスタムモデルの定義
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = TransformerEncoder(
            num_layers=2,
            d_model=128,
            nhead=4,
            dim_feedforward=256,
            dropout=0.1,
        )
        self.linear = Linear(in_features=128, out_features=10)

    def forward(self, src, src_mask):
        output, hidden, cell = self.encoder(src, src_mask)
        logits = self.linear(output)
        return logits

# モデルのインスタンス化
model = MyModel()

# 入力シーケンスとマスクの生成
src = torch.randn(10, 20, 128)
src_mask = torch.tril(torch.ones(10, 20, 20))

# モデルの呼び出し
logits = model(src, src_mask)

これらの方法は、TransformerEncoder クラスをより柔軟に使用するために役立ちます。

その他の方法

• Transformer モデルのアーキテクチャを変更する
• Transformer モデルを異なるタスクに適用する