PyTorch FX の torch.fx.Interpreter.output() を使ったカスタム FX 変換

PyTorch FX の torch.fx.Interpreter.output() 解説

PyTorch FX は、PyTorch モデルのキャプチャ、変換、最適化のためのフレームワークです。torch.fx.Interpreter.output() は、FX グラフを実行し、その出力を取得するための関数です。

torch.fx.Interpreter.output() は、以下の引数を受け取ります。

• gm: FX グラフモジュール
• args: 入力データ
• kwargs: 追加の引数

torch.fx.Interpreter.output() は、以下の処理を行います。

1. FX グラフをノードごとに実行します。
2. 各ノードの出力を記録します。
3. 記録された出力のリストを返します。

例

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x + 1

gm = GraphModule(MyModule())

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

このコードは、MyModule モジュールの FX グラフを作成し、Interpreter を使って実行します。output 変数は、モジュールの出力である x + 1 の値を保持します。

torch.fx.Interpreter.output() の利点

• FX グラフの動作を理解するのに役立ちます。
• デバッグに役立ちます。
• カスタム FX 変換を実装するのに役立ちます。

• FX グラフは、Python コードに変換できます。
• FX グラフは、TorchScript にコンパイルできます。

PyTorch FX の torch.fx.Interpreter.output() のサンプルコード

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x + 1

gm = GraphModule(MyModule())

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

条件分岐

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        if x > 0:
            return x + 1
        else:
            return x - 1

gm = GraphModule(MyModule())

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

ループ

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        for i in range(10):
            x = x + 1
        return x

gm = GraphModule(MyModule())

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

モジュールの呼び出し

import torch
from torch.fx import GraphModule

class MyModule1(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x + 1

class MyModule2(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.module1 = MyModule1()

    def forward(self, x):
        return self.module1(x)

gm = GraphModule(MyModule2())

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

カスタム FX 変換

import torch
from torch.fx import GraphModule, Transformer

class MyTransformer(Transformer):
    def __init__(self):
        super().__init__()

    def transform(self, gm):
        # ...
        return gm

gm = GraphModule(MyModule())

# Transformer を作成
transformer = MyTransformer()

# Interpreter を作成
interpreter = torch.fx.Interpreter(gm, transformer=transformer)

# 出力を取得
output = interpreter.output(torch.randn(10))

# 出力確認
print(output)

torch.fx.Interpreter.output() の代替方法

Python コードによる実行

FX グラフは、Python コードに変換できます。変換されたコードを実行することで、グラフの出力を取得できます。

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x + 1

gm = GraphModule(MyModule())

# Python コードに変換
code = gm.graph.python_code()

# コードを実行
output = eval(code, {"x": torch.randn(10)})

# 出力確認
print(output)

TorchScript による実行

FX グラフは、TorchScript にコンパイルできます。コンパイルされたモジュールを実行することで、グラフの出力を取得できます。

import torch
from torch.fx import GraphModule

class MyModule(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        return x + 1

gm = GraphModule(MyModule())

# TorchScript にコンパイル
traced_module = gm.trace()

# モジュールを実行
output = traced_module(torch.randn(10))

# 出力確認
print(output)

カスタム FX ランタイム

torch.fx.Interpreter は、FX グラフを実行するためのデフォルトのランタイムです。しかし、カスタムランタイムを実装することもできます。