torch.ao.quantization.qconfig_mapping.get_default_qat_qconfig_mapping の使い方

PyTorch Quantizationにおけるtorch.ao.quantization.qconfig_mapping.get_default_qat_qconfig_mapping解説

torch.ao.quantization.qconfig_mapping.get_default_qat_qconfig_mappingは、PyTorch Quantizationにおける「Quantization Aware Training (QAT)」と呼ばれる手法で使用するデフォルトの量子化設定を取得するための関数です。

QATとは

QATは、モデルの訓練中に量子化の影響を考慮することで、より高い精度と効率を持つ量子化モデルを生成する手法です。具体的には、訓練中に以下の2つのステップを交互に実行します。

1. 量化: モデルの重みと活性化関数を、量子化ビット幅に制限された値に変換します。
2. 再訓練: 量子化されたモデルを、元の訓練データを使って再訓練します。

get_default_qat_qconfig_mappingは、QATを行う際に各層に適用する量子化設定を指定するために使用されます。この関数は、以下の情報を引数として受け取ります。

• backend: 使用する量子化バックエンド（例：qnnpack、fbgemm）
• version: バックエンドのバージョン

これらの情報に基づいて、各層に適用されるデフォルトの量子化設定が返されます。

デフォルトの量子化設定は、以下の内容になっています。

• 重み: 8ビット整数
• 活性化関数: 8ビット整数

これらの設定は、多くのモデルで良好な結果を得られるように調整されています。ただし、必要に応じて、個別に設定を変更することも可能です。

get_default_qat_qconfig_mappingの例

from torch.ao.quantization import get_default_qat_qconfig_mapping

qconfig_mapping = get_default_qat_qconfig_mapping("qnnpack")

# モデルの各層に設定を適用
for layer in model.modules():
  layer.qconfig = qconfig_mapping.get(layer.type, None)

# モデルの訓練
...

具体的なサンプルコード

• MNIST分類モデルのQAT

import torch
from torch.ao.quantization import get_default_qat_qconfig_mapping

# モデル定義
model = torch.nn.Sequential(
  torch.nn.Flatten(),
  torch.nn.Linear(784, 128),
  torch.nn.ReLU(),
  torch.nn.Linear(128, 10),
)

# QAT設定
qconfig_mapping = get_default_qat_qconfig_mapping("qnnpack")

# モデルの各層に設定を適用
for layer in model.modules():
  layer.qconfig = qconfig_mapping.get(layer.type, None)

# 訓練と量子化
...

• ResNet-18モデルのQAT

import torch
from torch.ao.quantization import get_default_qat_qconfig_mapping

# モデル定義
model = torch.nn.resnet18()

# QAT設定
qconfig_mapping = get_default_qat_qconfig_mapping("fbgemm")

# モデルの各層に設定を適用
for layer in model.modules():
  layer.qconfig = qconfig_mapping.get(layer.type, None)

# 訓練と量子化
...

注意事項

• 上記のサンプルコードは、あくまで参考としてご使用ください。
• 使用するモデルや環境によって、コードを修正する必要があります。
• 詳細については、上記の参考資料を参照してください。

PyTorch QuantizationにおけるQAT以外の方法

静的量子化は、モデルの訓練後に量子化を行う手法です。訓練済みのモデルを読み込み、以下の手順で量子化を行います。

1. モデルの分析: モデルのグラフを分析し、各層に適用する量子化設定を決定します。
2. キャリブレーション: 量子化されたモデルを入力データを使って調整します。

Post-Training Quantization (PTQ)

PTQは、QATと同様に訓練中に量子化の影響を考慮しますが、訓練後に量子化を行う手法です。QATと比較して、以下の利点があります。

• 訓練中に量子化の影響を考慮するため、より高い精度と効率を持つ量子化モデルを生成できる。
• 量子化ビット幅を柔軟に変更できる。

量子化アウェア トレーニング (QAT)

QATは、訓練中に量子化の影響を考慮することで、より高い精度と効率を持つ量子化モデルを生成する手法です。

それぞれの方法の比較