文字列データをダミー変数に変換する 5 つの方法: Pandas str.get_dummies メソッドとその他の方法を徹底比較

Pandas Series の str.get_dummies メソッド

メソッドの概要

引数

• sep: 文字列を分割する区切り文字 (デフォルトは ' ')
• prefix: 生成されるダミー変数の接頭辞 (デフォルトは None)

返値

• 各文字列の出現頻度を表す DataFrame

メソッドの使い方

import pandas as pd

# 文字列型 Series を作成
series = pd.Series(['apple,banana,orange', 'apple,banana', 'orange'])

# ダミー変数 DataFrame を生成
df = series.str.get_dummies(sep=',')

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

上記例では、series の各文字列は , で分割され、それぞれの出現頻度がダミー変数として表現されています。

メソッドのオプション

• prefix: 生成されるダミー変数の接頭辞を指定できます。

df = series.str.get_dummies(sep=',', prefix='fruit_')

# 結果
#   fruit_apple  fruit_banana  fruit_orange
# 0             1             1             1
# 1             1             1             0
# 2             0             0             1

• drop_first: 最初のダミー変数を削除するかどうかを指定できます。

df = series.str.get_dummies(sep=',', drop_first=True)

# 結果
#   banana  orange
# 0       1       1
# 1       1       0
# 2       0       1

メソッドの活用例

• テキストデータの分析
• カテゴリカル変数のダミー化
• 機械学習のモデル構築

Pandas Series の str.get_dummies メソッド サンプルコード集

区切り文字の指定

import pandas as pd

# 文字列型 Series を作成
series = pd.Series(['apple,banana,orange', 'apple,banana', 'orange'])

# カンマで分割
df = series.str.get_dummies(sep=',')

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

# スペースで分割
df = series.str.get_dummies(sep=' ')

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

接頭辞の指定

# 接頭辞を "fruit_" に指定
df = series.str.get_dummies(sep=',', prefix='fruit_')

# 結果
#   fruit_apple  fruit_banana  fruit_orange
# 0             1             1             1
# 1             1             1             0
# 2             0             0             1

最初のダミー変数の削除

# 最初のダミー変数を削除
df = series.str.get_dummies(sep=',', drop_first=True)

# 結果
#   banana  orange
# 0       1       1
# 1       1       0
# 2       0       1

日本語文字列の処理

# 日本語文字列の Series を作成
series = pd.Series(['東京,大阪,京都', '東京,大阪'])

# 日本語文字列を分割
df = series.str.get_dummies(sep=',')

# 結果
#   東京  大阪  京都
# 0      1      1      1
# 1      1      1      0

カテゴリカル変数のダミー化

# カテゴリカル変数を含む DataFrame を作成
df = pd.DataFrame({'category': ['A', 'B', 'A', 'B', 'C']})

# カテゴリカル変数をダミー変数に変換
df = pd.get_dummies(df, columns=['category'])

# 結果
#   category_A  category_B  category_C
# 0          1          0          0
# 1          0          1          0
# 2          1          0          0
# 3          0          1          0
# 4          0          0          1

機械学習のモデル構築

# scikit-learn をインポート
from sklearn.linear_model import LogisticRegression

# ダミー変数 DataFrame を作成
df = series.str.get_dummies(sep=',')

# 目的変数を設定
y = pd.Series([1, 0, 1])

# Logistic Regression モデルを訓練
model = LogisticRegression()
model.fit(df, y)

# 予測
y_pred = model.predict(df)

# 予測結果
print(y_pred)

その他

• dtype オプションで生成されるダミー変数のデータ型を指定できます。
• sparse オプションでダミー変数を SparseDataFrame として生成できます。

Pandas Series の文字列をダミー変数に変換する他の方法

for ループ

import pandas as pd

# 文字列型 Series を作成
series = pd.Series(['apple,banana,orange', 'apple,banana', 'orange'])

# ダミー変数用の DataFrame を作成
df = pd.DataFrame()

# 各文字列をループで処理
for s in series:
  # 文字列を分割
  values = s.split(',')
  
  # ダミー変数を追加
  df = df.join(pd.get_dummies(values))

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

lambda 式

# lambda 式を使用してダミー変数を生成
df = series.str.split(',').apply(pd.get_dummies)

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

list comprehension

# list comprehension を使用してダミー変数を生成
df = pd.DataFrame([pd.get_dummies(s.split(',')) for s in series])

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

Dictionary comprehension

# dictionary comprehension を使用してダミー変数を生成
df = pd.DataFrame.from_dict({s: pd.get_dummies(s.split(',')) for s in series})

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

map 関数

# map 関数を使用してダミー変数を生成
df = pd.DataFrame(series.map(lambda s: pd.get_dummies(s.split(','))))

# 結果
#   apple  banana  orange
# 0      1       1       1
# 1      1       1       0
# 2      0       0       1

pandas.Series.str.get_dummies メソッド以外にも、様々な方法で文字列型 Series をダミー変数に変換できます。データ量や処理速度、コードの可読性などを考慮して、最適な方法を選択してください。