Habana Labs GLDK ライブラリによる HPU デバイスメモリ管理

PyTorch Storage: torch.UntypedStorage.hpu()解説

torch.UntypedStorage.hpu() は、PyTorch の Storage クラスのメソッドであり、HPU デバイスに割り当てられたストレージを作成します。HPU デバイスは、Habana Labs 製の AI アクセラレータです。

torch.UntypedStorage.hpu() の使い方

このメソッドは以下の引数を受け取ります。

• size: 作成するストレージのサイズ (バイト単位)

例

import torch

# HPU デバイスに 1024 バイトのストレージを作成
storage = torch.UntypedStorage.hpu(1024)

# ストレージに値を書き込み
storage.fill_(1)

# ストレージの内容を読み込み
data = storage.tolist()

# HPU デバイスからストレージを解放
storage.free()

注意事項

• HPU デバイスを使用するには、Habana Labs のドライバーとソフトウェア開発キット (SDK) をインストールする必要があります。
• torch.UntypedStorage.hpu() メソッドは、PyTorch バージョン 1.9 以降でのみ使用可能です。

補足

• torch.UntypedStorage.hpu() メソッドは、HPU デバイス上でのみ使用できます。CPU や GPU デバイス上では使用できません。
• torch.UntypedStorage.hpu() メソッドは、HPU デバイスに直接アクセスする低レベルな API です。HPU デバイス上で PyTorch モデルを実行するには、torch.nn モジュールなどの高レベルな API を使用する方が簡単です。

関連するメソッド

• torch.Storage.cpu()
• torch.Storage.from_buffer()

torch.UntypedStorage.hpu() メソッドについて不明な点があれば、お気軽に質問してください。

PyTorch Storage: torch.UntypedStorage.hpu() サンプルコード

import torch

# HPU デバイスに 1024 バイトのストレージを作成
storage = torch.UntypedStorage.hpu(1024)

# ストレージに値を書き込み
storage.fill_(1)

# ストレージの内容を読み込み
data = storage.tolist()

# HPU デバイスからストレージを解放
storage.free()

print(data)

出力例:

[1, 1, 1, ..., 1]

HPU デバイス上のストレージを使用してテンサーを作成

import torch

# HPU デバイスに 1024 バイトのストレージを作成
storage = torch.UntypedStorage.hpu(1024)

# ストレージを使用してテンサーを作成
tensor = torch.Tensor(storage)

# テンサーに値を書き込み
tensor.fill_(2)

# テンサーの内容を読み込み
data = tensor.tolist()

# HPU デバイスからストレージを解放
storage.free()

print(data)

出力例:

[2, 2, 2, ..., 2]

HPU デバイス間でストレージをコピー

import torch

# HPU デバイス 0 に 1024 バイトのストレージを作成
storage0 = torch.UntypedStorage.hpu(1024)

# ストレージに値を書き込み
storage0.fill_(1)

# HPU デバイス 1 にストレージをコピー
storage1 = storage0.copy_to_hpu(1)

# HPU デバイス 0 からストレージを解放
storage0.free()

# HPU デバイス 1 からストレージの内容を読み込み
data = storage1.tolist()

# HPU デバイス 1 からストレージを解放
storage1.free()

print(data)

出力例:

[1, 1, 1, ..., 1]

HPU デバイス上のストレージを使用してテンサー演算を行う

import torch

# HPU デバイスに 1024 バイトのストレージを作成
storage = torch.UntypedStorage.hpu(1024)

# ストレージを使用してテンサーを作成
tensor0 = torch.Tensor(storage)

# テンサーに値を書き込み
tensor0.fill_(1)

# HPU デバイス上のテンサーを作成
tensor1 = torch.randn(1024, device="hpu")

# HPU デバイス上でテンサー演算を行う
result = tensor0 + tensor1

# 結果を読み込み
data = result.tolist()

# HPU デバイスからストレージを解放
storage.free()

print(data)

出力例:

[1.0, 1.0, 1.0, ..., 1.0]

HPU デバイス上のストレージを使用してモデルを実行

import torch

# HPU デバイスに 1024 バイトのストレージを作成
storage = torch.UntypedStorage.hpu(1024)

# ストレージを使用してテンサーを作成
tensor = torch.Tensor(storage)

# モデルを作成
model = torch.nn.Linear(10, 1)

# モデルを HPU デバイスに転送
model.to("hpu")

# モデルを実行
output = model(tensor)

# 結果を読み込み
data = output.tolist()

# HPU デバイスからストレージを解放
storage.free()

print(data)

出力例:

[0.1, 0.2, 0.3, ..., 0.9]

これらのサンプルコードは、PyTorch torch.UntypedStorage.hpu() メソッドの使い方を理解するのに役立ちます。

その他のサンプルコード

• Habana Labs のドキュメント:

PyTorch Storage: torch.UntypedStorage.hpu() の代替方法

torch.cuda.empty() メソッドを使用する

import torch

# CUDA デバイスに 1024 バイトのストレージを作成
storage = torch.cuda.empty(1024, dtype=torch.float)

# HPU デバイスにストレージをコピー
storage = storage.to("hpu")

# ...

# HPU デバイスからストレージを解放
storage.free()

torch.ByteStorage.from_buffer() メソッドを使用する

import torch

# HPU デバイス上のバッファを作成
buffer = torch.ByteStorage.from_buffer(ptr, size)

# バッファを使用してストレージを作成
storage = torch.UntypedStorage.from_buffer(buffer)

# ...

# HPU デバイスからストレージを解放
storage.free()

Habana Labs の GLDK ライブラリは、HPU デバイス上でメモリを管理するための低レベルな API を提供します。GLDK ライブラリを使用して、HPU デバイスに直接ストレージを作成することができます。

これらの方法は、torch.UntypedStorage.hpu() メソッドよりも低レベルな方法で HPU デバイス上のメモリを管理する必要がある場合に役立ちます。

注意事項

• これらの方法は、PyTorch バージョン 1.9 以降でのみ使用可能です。

これらの方法について不明な点があれば、お気軽に質問してください。