NumPyで複雑なデータ形式を扱う：pandasとh5py

NumPyの入出力：データの読み書きをマスターしよう！

データの読み込み

NumPyでは、さまざまな形式のデータを読み込むことができます。代表的なものは以下の通りです。

• CSVファイル: np.loadtxt()、np.genfromtxt()
• NumPy配列ファイル: np.load()
• 画像ファイル: matplotlib.pyplot.imread()

これらの関数は、ファイルパスを指定してデータを読み込み、NumPy配列として返します。

例：CSVファイルを読み込む

import numpy as np

# ファイルパスを指定
data_path = "data.csv"

# データを読み込み
data = np.loadtxt(data_path, delimiter=",")

# データを確認
print(data)

例：NumPy配列ファイルを読み込む

import numpy as np

# ファイルパスを指定
data_path = "data.npy"

# データを読み込み
data = np.load(data_path)

# データを確認
print(data)

例：画像ファイルを読み込む

import matplotlib.pyplot as plt

# ファイルパスを指定
image_path = "image.png"

# 画像を読み込み
image = plt.imread(image_path)

# 画像を表示
plt.imshow(image)
plt.show()

データの書き込み

NumPyでは、データをさまざまな形式で書き出すことができます。代表的なものは以下の通りです。

• CSVファイル: np.savetxt()
• NumPy配列ファイル: np.save()
• 画像ファイル: matplotlib.pyplot.imsave()

これらの関数は、NumPy配列とファイルパスを渡すと、データを指定された形式で書き出します。

例：データをCSVファイルに書き出す

import numpy as np

# データを生成
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパスを指定
data_path = "data.csv"

# データを書き出す
np.savetxt(data_path, data, delimiter=",")

例：データをNumPy配列ファイルに書き出す

import numpy as np

# データを生成
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパスを指定
data_path = "data.npy"

# データを書き出す
np.save(data_path, data)

例：データを画像ファイルに書き出す

import matplotlib.pyplot as plt

# データを生成
image = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパスを指定
image_path = "image.png"

# データを書き出す
plt.imsave(image_path, image)

オプション

これらの関数には、さまざまなオプションがあります。詳細はNumPyの公式ドキュメントを参照してください。

まとめ

NumPyの入出力は、データ分析や機械学習など、さまざまなタスクで必要となる重要な機能です。今回紹介した方法を参考に、NumPyの入出力をマスターして、データ処理を効率化

NumPy 入出力 サンプルコード

CSVファイル

import numpy as np

# ファイルパス
data_path = "data.csv"

# 区切り文字
delimiter = ","

# データの読み込み
data = np.loadtxt(data_path, delimiter=delimiter)

# データの確認
print(data)

書き込み

import numpy as np

# データ
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパス
data_path = "data.csv"

# 区切り文字
delimiter = ","

# データの書き込み
np.savetxt(data_path, data, delimiter=delimiter)

NumPy配列ファイル

読み込み

import numpy as np

# ファイルパス
data_path = "data.npy"

# データの読み込み
data = np.load(data_path)

# データの確認
print(data)

書き込み

import numpy as np

# データ
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパス
data_path = "data.npy"

# データの書き込み
np.save(data_path, data)

画像ファイル

読み込み

import matplotlib.pyplot as plt

# ファイルパス
image_path = "image.png"

# 画像の読み込み
image = plt.imread(image_path)

# 画像の確認
plt.imshow(image)
plt.show()

書き込み

import matplotlib.pyplot as plt

# データ
image = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパス
image_path = "image.png"

# 画像の書き込み
plt.imsave(image_path, image)

• 複数のファイルを読み込む
• 特定の列だけを読み込む
• データをフォーマットして書き込む
• ヘッダー付きのCSVファイルを読み書きする

これらのサンプルコードを参考に、さまざまなデータ形式を読み書きしてみてください。

NumPy 入出力：その他の方法

np.genfromtxt()は、CSVファイルだけでなく、さまざまな区切り文字で区切られたテキストファイルを読み込むことができます。

例：タブ区切りのテキストファイルを読み込む

import numpy as np

# ファイルパス
data_path = "data.txt"

# 区切り文字
delimiter = "\t"

# データの読み込み
data = np.genfromtxt(data_path, delimiter=delimiter)

# データの確認
print(data)

np.fromfile()は、バイナリファイルを読み込み、NumPy配列に変換することができます。

例：バイナリファイルを読み込む

import numpy as np

# ファイルパス
data_path = "data.bin"

# データ型
dtype = np.int32

# データの読み込み
data = np.fromfile(data_path, dtype=dtype)

# データの確認
print(data)

np.savetxt()は、CSVファイルだけでなく、さまざまなフォーマットでデータを書き出すことができます。

例：データをFortran形式で書き出す

import numpy as np

# データ
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパス
data_path = "data.txt"

# フォーマット
fmt = "%.2f"

# データの書き込み
np.savetxt(data_path, data, fmt=fmt)

pickleモジュールは、Pythonオブジェクトをシリアル化し、ファイルに保存することができます。NumPy配列もPythonオブジェクトなので、pickleを使って保存することができます。

例：データをpickleで保存する

import numpy as np
import pickle

# データ
data = np.array([[1, 2, 3], [4, 5, 6]])

# ファイルパス
data_path = "data.pkl"

# データの保存
with open(data_path, "wb") as f:
    pickle.dump(data, f)

# データの読み込み
with open(data_path, "rb") as f:
    data = pickle.load(f)

# データの確認
print(data)

その他のライブラリ

NumPy以外にも、データの入出力に特化したライブラリがあります。代表的なものは以下の通りです。

• pandas: データフレームを使ったデータ分析に特化したライブラリ
• h5py: HDF5ファイル形式を使ったデータの入出力に特化したライブラリ

これらのライブラリを使うと、より複雑なデータ形式を扱ったり、より効率的にデータを読み書きすることができます。

NumPyには、さまざまなデータ形式を読み書きするための関数があります。今回紹介した方法を参考に、目的に合った方法を選択してください。