torch.onnx.ExportOutputSerializer を使用して出力ノードをカスタマイズする

PyTorch の ONNX に関連する torch.onnx.ExportOutputSerializer のプログラミング解説

PyTorch の torch.onnx.ExportOutputSerializer は、PyTorch モデルを ONNX 形式にエクスポートする際に、出力ノードの処理をカスタマイズするためのツールです。

ExportOutputSerializer は、PyTorch モデルの出力ノードを処理し、ONNX グラフに書き込むためのシリアライザを提供します。 シリアライザは、出力ノードの種類に基づいて、適切な ONNX オペレータを選択して、その属性を設定します。

ExportOutputSerializer を使用するには、以下の手順が必要です。

1. torch.onnx.export 関数を呼び出す際に、output_serializer 引数に ExportOutputSerializer のインスタンスを渡します。
2. ExportOutputSerializer のインスタンスに対して、serialize メソッドを呼び出して、出力ノードの処理をカスタマイズします。

ExportOutputSerializer の serialize メソッドは、以下の引数を受け取ります。

• node: 出力ノード
• name: 出力ノードの名前
• inputs: 出力ノードの入力
• outputs: 出力ノードの出力

serialize メソッド内で、これらの引数を使用して、ONNX グラフに書き込むためのオペレータを選択して、その属性を設定することができます。

ExportOutputSerializer の例

以下は、ExportOutputSerializer を使用して、出力ノードの名前を変更する例です。

from torch.onnx import ExportOutputSerializer

def my_serializer(node, name, inputs, outputs):
  return node.type(), {"name": name + "_custom"}

model = torch.nn.Linear(10, 1)

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}, 
                                 "output": {0: "batch_size"}}, 
                  output_serializer=my_serializer)

この例では、my_serializer という名前のカスタマイズシリアライザを作成しています。 このシリアライザは、出力ノードの名前の末尾に "_custom" という文字列を追加しています。

まとめ

torch.onnx.ExportOutputSerializer は、PyTorch モデルを ONNX 形式にエクスポートする際に、出力ノードの処理をカスタマイズするための強力なツールです。

補足

• 上記の例は、あくまでも簡単な例です。 より複雑なカスタマイズを行う場合は、PyTorch のドキュメントを参照してください。
• ExportOutputSerializer は、PyTorch 1.8 以降で利用可能です。

免責事項

本情報は参考情報としてのみ提供されます。 本情報は予告なく変更される可能性があります。

PyTorch の torch.onnx.ExportOutputSerializer を使用したサンプルコード

出力ノードの名前を変更する

from torch.onnx import ExportOutputSerializer

def my_serializer(node, name, inputs, outputs):
  return node.type(), {"name": name + "_custom"}

model = torch.nn.Linear(10, 1)

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}, 
                                 "output": {0: "batch_size"}}, 
                  output_serializer=my_serializer)

出力ノードの属性を変更する

from torch.onnx import ExportOutputSerializer

def my_serializer(node, name, inputs, outputs):
  if node.type() == "Add":
    return node.type(), {"alpha": 0.5}
  else:
    return node.type(), {}

model = torch.nn.Sequential(torch.nn.Linear(10, 1), torch.nn.ReLU())

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}, 
                                 "output": {0: "batch_size"}}, 
                  output_serializer=my_serializer)

この例では、my_serializer という名前のカスタマイズシリアライザを作成しています。 このシリアライザは、Add 型の出力ノードの alpha 属性を 0.5 に設定しています。

出力ノードの種類を変更する

from torch.onnx import ExportOutputSerializer

def my_serializer(node, name, inputs, outputs):
  if node.type() == "Mul":
    return "Div", {}
  else:
    return node.type(), {}

model = torch.nn.Sequential(torch.nn.Linear(10, 1), torch.nn.Mul())

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}, 
                                 "output": {0: "batch_size"}}, 
                  output_serializer=my_serializer)

この例では、my_serializer という名前のカスタマイズシリアライザを作成しています。 このシリアライザは、Mul 型の出力ノードを Div 型に変更しています。

複数の出力ノードを処理する

from torch.onnx import ExportOutputSerializer

def my_serializer(node, name, inputs, outputs):
  if node.type() == "Add":
    return node.type(), {"alpha": 0.5}
  elif node.type() == "Mul":
    return "Div", {}
  else:
    return node.type(), {}

model = torch.nn.Sequential(torch.nn.Linear(10, 1), torch.nn.Add(), torch.nn.Mul())

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output1", "output2"], 
                  dynamic_axes={"input": {0: "batch_size"}, 
                                 "output1": {0: "batch_size"}, 
                                 "output2": {0: "batch_size"}}, 
                  output_serializer=my_serializer)

この例では、my_serializer という名前のカスタマイズシリアライザを作成しています。 このシリアライザは、Add 型の出力ノードの alpha 属性を 0.5 に設定し、Mul 型の出力ノードを Div 型に変更しています。

その他

上記以外にも、ExportOutputSerializer を使用して、さまざまなカスタマイズを行うことができます。 詳細については、PyTorch のドキュメントを参照してください。

PyTorch の ONNX 形式へのエクスポート時に出力ノードを処理するその他の方法

torch.onnx.set_output_shape 関数は、特定の出力ノードの形状を明示的に設定するために使用できます。 これは、動的形状のモデルをエクスポートする場合に役立ちます。

import torch

model = torch.nn.Linear(10, 1)

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}}, 
                  output_shape={"output": (None, 1)})

この例では、output ノードの形状を (None, 1) に設定しています。

torch.onnx.symbolic_opset_version 変数は、ONNX オペレータセットのバージョンを指定するために使用できます。 オペレータセットのバージョンによって、使用可能なオペレータの種類が変わります。

import torch

torch.onnx.symbolic_opset_version = 13

model = torch.nn.Linear(10, 1)

torch.onnx.export(model, 
                  "model.onnx", 
                  input_names=["input"], 
                  output_names=["output"], 
                  dynamic_axes={"input": {0: "batch_size"}})

この例では、オペレータセットのバージョンを 13 に設定しています。

カスタムオペレータ

PyTorch でサポートされていないオペレータを使用する場合は、カスタムオペレータを作成する必要があります。 カスタムオペレータは、C++ または Python で記述することができます。

その他のライブラリ

onnxruntime などのライブラリを使用して、PyTorch モデルを ONNX 形式にエクスポートすることもできます。 これらのライブラリは、PyTorch 標準のエクスポート機能よりも多くの機能を提供している場合があります。

PyTorch には、ONNX 形式へのエクスポート時に出力ノードを処理するためのさまざまな方法があります。 どの方法を使用するかは、要件によって異なります。