Pandas DataFrame の欠損値処理：fillna()、dropna()、interpolate()、bfill()、ffill() メソッドの使い方

Pandas DataFrame の pad() メソッド

主な機能

• 欠損値を前後の値で埋める
• 列ごとに異なる方法で埋めることも可能
• 文字列型データに対しては、文字列のパディングも行える

使い方

df = pd.DataFrame([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 6, 7]])

# 欠損値を前後の値で埋める
df = df.pad()

# 列ごとに異なる方法で埋める
df = df.pad(method={'A': 'ffill', 'B': 'bfill'})

# 文字列型データに対しては、文字列のパディングも行える
df = df.col1.str.pad(width=5, fillchar='0')

fillna() との違い

pad() メソッドと fillna() メソッドは、どちらも欠損値を埋めるための関数ですが、いくつかの点で異なる動作をします。

• pad() メソッドは、前後の値で埋めます。一方、fillna() メソッドは、指定した値で埋めます。
• pad() メソッドは、列ごとに異なる方法で埋めることができます。一方、fillna() メソッドは、DataFrame 全体に対して同じ方法で埋めます。
• pad() メソッドは、文字列型データに対しては、文字列のパディングも行えます。一方、fillna() メソッドは、数値型データに対してのみ使用できます。

• pad() メソッドは、欠損値が多いデータに対しては、効果的ではない場合があります。
• pad() メソッドは、データの性質によっては、誤った結果を出力する可能性があります。

注意

• 上記の情報は、2023年11月14日時点のものとなります。
• 最新の情報は、公式ドキュメント等でご確認ください。

Pandas DataFrame.pad サンプルコード集

# データフレーム
df = pd.DataFrame([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 6, 7]])

# 欠損値を前後の値で埋める
df = df.pad()

# 出力
print(df)

# 結果
#    0  1  2
# 0  1.0  2.0  3.0
# 1  3.0  5.0  5.0
# 2  6.0  6.0  7.0

列ごとに異なる方法で埋める

# データフレーム
df = pd.DataFrame([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 6, 7]])

# 列ごとに異なる方法で埋める
df = df.pad(method={'A': 'ffill', 'B': 'bfill'})

# 出力
print(df)

# 結果
#    A  B  C
# 0  1.0  2.0  3.0
# 1  3.0  5.0  5.0
# 2  6.0  6.0  7.0

文字列型データに対してパディング

# データフレーム
df = pd.DataFrame({'col1': ['a', 'b', np.nan]})

# 文字列型データに対してパディング
df['col1'] = df['col1'].str.pad(width=5, fillchar='0')

# 出力
print(df)

# 結果
#    col1
# 0   a
# 1   b
# 2  00000

limit オプションを使用すると、パディングする最大値を指定できます。

# データフレーム
df = pd.DataFrame([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 6, 7]])

# 最大2つ分の値でパディング
df = df.pad(limit=2)

# 出力
print(df)

# 結果
#    0  1  2
# 0  1.0  2.0  3.0
# 1  3.0  5.0  5.0
# 2  6.0  7.0  7.0

その他のオプション

pad() メソッドには、stat_func や backfill などのオプションも用意されています。詳細は公式ドキュメントを参照してください。

Pandas DataFrame.pad 以外の欠損値処理方法

代表的なメソッド

• fillna() メソッド: 欠損値を指定した値で埋める
• dropna() メソッド: 欠損値を含む行または列を削除する
• interpolate() メソッド: 欠損値を線形補完で埋める
• bfill() メソッド: 欠損値を後ろの値で埋める

各メソッドの特徴

使い分け

• データの性質や分析目的に応じて、適切なメソッドを選択する必要があります。
• 欠損値の割合や分布なども考慮する必要があります。

# データフレーム
df = pd.DataFrame([[1, 2, np.nan], [3, np.nan, 5], [np.nan, 6, 7]])

# 欠損値を平均値で埋める
df = df.fillna(df.mean())

# 欠損値を含む行を削除する
df = df.dropna()

# 欠損値を線形補完で埋める
df = df.interpolate()

# 欠損値を後ろの値で埋める
df = df.bfill()

# 欠損値を前の値で埋める
df = df.ffill()

• 欠損値処理には、上記以外にも様々なライブラリや手法があります。
• 欠損値処理を行う前に、必ずデータのバックアップを取るようにしてください。