PyTorch Quantization: PrepareCustomConfig.to_dict() 関数徹底解説

PyTorch Quantizationにおけるtorch.ao.quantization.fx.custom_config.PrepareCustomConfig.to_dict()の解説

torch.ao.quantization.fx.custom_config.PrepareCustomConfig.to_dict()は、PyTorch Quantizationのカスタム量子化設定を辞書形式に変換する関数です。この関数は、カスタム量子化モジュールの設定をシリアライズ化したり、保存したりするために使用されます。

詳細

to_dict()関数は、以下の引数を受け取ります。

• self: PrepareCustomConfig型のオブジェクト

to_dict()関数は、以下のキーと値を持つ辞書を返します。

• custom_module_mapping: 量子化モードごとに、カスタム量子化モジュールとその設定のマッピング
• float_custom_module_classes: 浮動小数点数のカスタム量子化モジュールのクラスのリスト

例

from torch.ao.quantization.fx.custom_config import PrepareCustomConfig

# カスタム量子化モジュールの設定
class MyCustomModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(10, 10))

    def forward(self, x):
        return torch.mm(x, self.weight)

custom_module_mapping = {
    QuantType.STATIC: {
        MyCustomModule: {
            "activation_dtype": torch.quint8,
            "weight_dtype": torch.qint8,
        }
    },
    QuantType.DYNAMIC: {
        MyCustomModule: {
            "activation_dtype": torch.float16,
            "weight_dtype": torch.qint8,
        }
    },
}

# PrepareCustomConfigオブジェクトの作成
config = PrepareCustomConfig(custom_module_mapping)

# 辞書への変換
config_dict = config.to_dict()

# 辞書の出力
print(config_dict)

出力例

{
    "custom_module_mapping": {
        "static": {
            "MyCustomModule": {
                "activation_dtype": "torch.quint8",
                "weight_dtype": "torch.qint8",
            }
        },
        "dynamic": {
            "MyCustomModule": {
                "activation_dtype": "torch.float16",
                "weight_dtype": "torch.qint8",
            }
        }
    },
    "float_custom_module_classes": [
        "MyCustomModule"
    ]
}

補足

• to_dict()関数は、PyTorch Quantization 1.10以降で使用できます。
• 辞書形式に変換された設定は、torch.jit.save()やtorch.save()を使用して保存することができます。

PyTorch Quantizationに関する質問は、PyTorch Discussion Forum (https://discuss.pytorch.org/) で質問することができます。

• 画像分類
• 目的検出
• 自然言語処理
• 音声認識

サンプルコードを選ぶ際には、以下の点を考慮する必要があります。

• 使用したいモデルの種類
• 使用したいフレームワーク
• 目的とするタスク

サンプルコードの使い方

サンプルコードは、以下の方法で使用することができます。

• チュートリアルに従って、ステップバイステップで学習する
• コードをコピーして、自分のプロジェクトに組み込む
• コードを参考

PyTorch Quantizationのカスタム量子化設定をシリアライズ化/保存する他の方法

Pickle は、Python オブジェクトをシリアライズ化/保存する標準ライブラリです。

import pickle

# カスタム量子化モジュールの設定
class MyCustomModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(10, 10))

    def forward(self, x):
        return torch.mm(x, self.weight)

custom_module_mapping = {
    QuantType.STATIC: {
        MyCustomModule: {
            "activation_dtype": torch.quint8,
            "weight_dtype": torch.qint8,
        }
    },
    QuantType.DYNAMIC: {
        MyCustomModule: {
            "activation_dtype": torch.float16,
            "weight_dtype": torch.qint8,
        }
    },
}

# シリアライズ化
with open("custom_config.pkl", "wb") as f:
    pickle.dump(custom_module_mapping, f)

# 保存

JSON は、軽量なデータ交換形式です。

import json

# カスタム量子化モジュールの設定
class MyCustomModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(10, 10))

    def forward(self, x):
        return torch.mm(x, self.weight)

custom_module_mapping = {
    QuantType.STATIC: {
        MyCustomModule: {
            "activation_dtype": "torch.quint8",
            "weight_dtype": "torch.qint8",
        }
    },
    QuantType.DYNAMIC: {
        MyCustomModule: {
            "activation_dtype": "torch.float16",
            "weight_dtype": "torch.qint8",
        }
    },
}

# シリアライズ化
json_str = json.dumps(custom_module_mapping)

# 保存
with open("custom_config.json", "w") as f:
    f.write(json_str)

YAML は、人間が読みやすいデータフォーマットです。

import yaml

# カスタム量子化モジュールの設定
class MyCustomModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.weight = torch.nn.Parameter(torch.randn(10, 10))

    def forward(self, x):
        return torch.mm(x, self.weight)

custom_module_mapping = {
    QuantType.STATIC: {
        MyCustomModule: {
            "activation_dtype": "torch.quint8",
            "weight_dtype": "torch.qint8",
        }
    },
    QuantType.DYNAMIC: {
        MyCustomModule: {
            "activation_dtype": "torch.float16",
            "weight_dtype": "torch.qint8",
        }
    },
}

# シリアライズ化
yaml_str = yaml.dump(custom_module_mapping)

# 保存
with open("custom_config.yaml", "w") as f:
    f.write(yaml_str)

どの方法を選択するべきかは、以下の点を考慮する必要があります。

• シリアライズ化/保存したいデータの形式
• 読みやすさ
• 互換性