torch.ao.quantization.fx.custom_config.ConvertCustomConfig クラスの詳解

PyTorch Quantizationにおける torch.ao.quantization.fx.custom_config.ConvertCustomConfig の詳細解説

torch.ao.quantization.fx.custom_config.ConvertCustomConfig は、PyTorch Quantization におけるカスタム量子化の重要な構成要素です。このクラスは、カスタム量子化関数を定義し、モデル内の特定のモジュールに対して個別に適用することを可能にします。

使用方法

ConvertCustomConfig クラスを使用するには、以下の手順が必要です。

1. カスタム量子化関数: 最初に、qat.quantize デコレータを使用してカスタム量子化関数を定義します。この関数は、module と inputs 引数を受け取り、量子化されたモジュールと量子化された入力を返す必要があります。
2. ConvertCustomConfig オブジェクトの作成: 次に、ConvertCustomConfig オブジェクトを作成し、qat.quantize デコレータで装飾されたカスタム量子化関数を convert_fn 属性に渡します。
3. convert メソッドの呼び出し: 最後に、qat.convert メソッドを呼び出し、convert_custom_config パラメータに ConvertCustomConfig オブジェクトを渡します。

例

import torch
from torch.ao.quantization import qat

# カスタム量子化関数
@qat.quantize
def custom_quantize(module, inputs):
    # ...

# ConvertCustomConfig オブジェクトの作成
convert_custom_config = qat.quantization.fx.custom_config.ConvertCustomConfig(
    convert_fn=custom_quantize
)

# モデルの量子化
qat.convert(model, convert_custom_config=convert_custom_config)

詳細

ConvertCustomConfig クラスには、以下の属性があります。

• convert_fn: カスタム量子化関数
• qat_module_name: カスタム量子化モジュールの名前 (省略可能)
• additional_qat_module_kwargs: カスタム量子化モジュールに渡される追加のキーワード引数 (省略可能)

利点

ConvertCustomConfig クラスを使用する利点は以下の通りです。

• モデル内の特定のモジュールに対して個別にカスタム量子化を適用することができます。
• コードの再利用性を向上させることができます。
• モデルの量子化精度を向上させることができます。

補足

• 本解説は、PyTorch 1.12.0 をベースにしています。
• 上記の例は、単純な例です。実際のユースケースでは、より複雑なカスタム量子化関数を必要とする場合があります。

PyTorch Quantizationにおける torch.ao.quantization.fx.custom_config.ConvertCustomConfig のサンプルコード

import torch
from torch.ao.quantization import qat

# カスタム量子化関数
@qat.quantize
def custom_quantize(module, inputs):
    # モジュールを量子化
    module = torch.quantization.quantize(module)

    # 入力データを量子化
    inputs = torch.quantization.quantize(inputs)

    return module, inputs

# ConvertCustomConfig オブジェクトの作成
convert_custom_config = qat.quantization.fx.custom_config.ConvertCustomConfig(
    convert_fn=custom_quantize
)

# モデルの量子化
qat.convert(model, convert_custom_config=convert_custom_config)

カスタム量子化モジュールの使用

import torch
from torch.ao.quantization import qat

# カスタム量子化モジュール
class CustomQuantizedModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

        # ...

    def forward(self, inputs):
        # ...

# カスタム量子化関数
@qat.quantize
def custom_quantize(module, inputs):
    # カスタム量子化モジュールを作成
    custom_module = CustomQuantizedModule()

    # ...

    return custom_module, inputs

# ConvertCustomConfig オブジェクトの作成
convert_custom_config = qat.quantization.fx.custom_config.ConvertCustomConfig(
    convert_fn=custom_quantize,
    qat_module_name="custom_module",
)

# モデルの量子化
qat.convert(model, convert_custom_config=convert_custom_config)

追加のキーワード引数の使用

import torch
from torch.ao.quantization import qat

# カスタム量子化関数
@qat.quantize
def custom_quantize(module, inputs, **kwargs):
    # ...

# ConvertCustomConfig オブジェクトの作成
convert_custom_config = qat.quantization.fx.custom_config.ConvertCustomConfig(
    convert_fn=custom_quantize,
    additional_qat_module_kwargs={"some_arg": 10},
)

# モデルの量子化
qat.convert(model, convert_custom_config=convert_custom_config)

動的量子化の例

import torch
from torch.ao.quantization import qat

# カスタム量子化関数
@qat.quantize
def custom_quantize(module, inputs):
    # 動的量子化を使用するかどうかを判断
    if is_dynamic_quantization_enabled():
        # 動的量子化を使用
        module = torch.quantization.quantize_dynamic(module)

    else:
        # 静的量子化を使用
        module = torch.quantization.quantize(module)

    # ...

    return module, inputs

# ConvertCustomConfig オブジェクトの作成
convert_custom_config = qat.quantization.fx.custom_config.ConvertCustomConfig(
    convert_fn=custom_quantize
)

# モデルの量子化
qat.convert(model, convert_custom_config=convert_custom_config)

これらのサンプルコードは、torch.ao.quantization.fx.custom_config.ConvertCustomConfig クラスの使い方を理解するのに役立ちます。

PyTorch Quantizationにおけるカスタム量子化の他の方法

qat.quantize_qat_module デコレータは、モジュールを量子化可能な QAT モジュールに変換します。このデコレータは、convert メソッドを使用してモジュールを量子化します。

import torch
from torch.ao.quantization import qat

# モジュールを QAT モジュールに変換
@qat.quantize_qat_module
class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

        # ...

    def forward(self, inputs):
        # ...

# モジュールの量子化
qat.convert(my_module)

torch.quantization.quantize_dynamic 関数は、動的量子化を行うためにモジュールを量子化します。この関数は、qat.quantize_qat_module デコレータと組み合わせて使用することができます。

import torch
from torch.ao.quantization import qat

# モジュールを QAT モジュールに変換
@qat.quantize_qat_module
class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

        # ...

    def forward(self, inputs):
        # ...

# モジュールの量子化
qat.convert(my_module, dynamic_quantization=True)

手動による量子化

上記のいずれの方法も使用せず、手動でモジュールを量子化することも可能です。これは、高度な制御が必要な場合に役立ちます。

import torch
from torch.quantization import quantize

# モジュールの量子化
my_module = quantize(my_module)

• torch.ao.quantization.fx.custom_config.ConvertCustomConfig クラス: 個別のモジュールに対して個別にカスタム量子化を適用する場合に適しています。
• qat.quantize_qat_module デコレータ: モジュール全体を量子化する場合に適しています。
• torch.quantization.quantize_dynamic 関数: 動的量子化を行う場合に適しています。
• 手動による量子化: 高度な制御が必要な場合に適しています。

PyTorch Quantization には、カスタム量子化を行うためのいくつかの方法があります。どの方法を選択するべきかは、ユースケースによって異なります。