Pandas Seriesの欠損値処理を徹底解説！ dropna メソッドだけじゃない！

pandas.Series.dropna メソッド解説

メソッド概要

• メソッド名: dropna
• 引数:
  • axis: 欠損値を削除する軸を指定します。デフォルトは0（行方向）。
  • thresh: 欠損値の許容数を指定します。デフォルトはNone（すべての欠損値を含む行を削除）。
  • subset: 欠損値の判定対象となる列を指定します。デフォルトはNone（すべての列を対象）。
  • inplace: 処理結果を元のオブジェクトに反映するかどうかを指定します。デフォルトはFalse（新しいオブジェクトを返却）。
• 戻り値: 欠損値を含まない Series オブジェクト

例

import pandas as pd

# データフレーム作成
df = pd.DataFrame({
    "A": [1, 2, np.nan],
    "B": [3, np.nan, 5],
    "C": [6, 7, 8],
})

# Seriesオブジェクト取得
series = df["A"]

# 欠損値を含む行を削除
dropna_series = series.dropna()

# 結果確認
print(dropna_series)

# 出力:
# 0    1
# 2    2

上記の例では、Series オブジェクト series から欠損値を含む行を削除し、新しい Series オブジェクト dropna_series に格納しています。

その他のオプション

• thresh オプションを用いて、許容する欠損値の数を指定することができます。

dropna_series = series.dropna(thresh=1)

# 出力:
# 0    1
# 2    2

上記の例では、1行あたりの欠損値が1つ以下であれば許容し、それ以上の場合は行を削除しています。

• subset オプションを用いて、欠損値の判定対象となる列を指定することができます。

dropna_series = series.dropna(subset=["A", "B"])

# 出力:
# 2    2

上記の例では、A 列と B 列に欠損値がない行のみを残しています。

• inplace オプションを True に設定すると、処理結果を元のオブジェクトに反映することができます。

series.dropna(inplace=True)

# 結果確認
print(series)

# 出力:
# 0    1
# 2    2

上記の例では、series オブジェクト自体から欠損値を含む行を削除しています。

pandas.Series.dropna メソッドは、Series オブジェクトから欠損値を効率的に削除するための便利なツールです。オプションを活用することで、目的に合わせた処理を行うことができます。

pandas.Series.dropna メソッドのサンプルコード

欠損値を含む行を削除

import pandas as pd

# データフレーム作成
df = pd.DataFrame({
    "A": [1, 2, np.nan],
    "B": [3, np.nan, 5],
    "C": [6, 7, 8],
})

# Seriesオブジェクト取得
series = df["A"]

# 欠損値を含む行を削除
dropna_series = series.dropna()

# 結果確認
print(dropna_series)

# 出力:
# 0    1
# 2    2

許容する欠損値の数を指定

# 1行あたりの欠損値が1つ以下であれば許容
dropna_series = series.dropna(thresh=1)

# 出力:
# 0    1
# 2    2

欠損値の判定対象となる列を指定

# A列とB列に欠損値がない行のみを残す
dropna_series = series.dropna(subset=["A", "B"])

# 出力:
# 2    2

処理結果を元のオブジェクトに反映

# inplaceオプションをTrueに設定
series.dropna(inplace=True)

# 結果確認
print(series)

# 出力:
# 0    1
# 2    2

欠損値を含む行のインデックスを取得

# 欠損値を含む行のインデックスを取得
index_list = series.dropna().index

# 結果確認
print(index_list)

# 出力:
# Int64Index([0, 2], dtype='int64')

欠損値を含む行を置換

# 欠損値を含む行を平均値で置換
fillna_series = series.fillna(series.mean())

# 結果確認
print(fillna_series)

# 出力:
# 0    1.5
# 1    2.0
# 2    2.0

欠損値を含む行を別の値で置換

# 欠損値を含む行を"-99"で置換
fillna_series = series.fillna(-99)

# 結果確認
print(fillna_series)

# 出力:
# 0    1
# 1   -99
# 2    2

pandas.Series.dropna 以外の欠損値処理方法

fillna メソッド

欠損値を別の値で置換したい場合は、fillna メソッドを使用できます。

import pandas as pd

# データフレーム作成
df = pd.DataFrame({
    "A": [1, 2, np.nan],
    "B": [3, np.nan, 5],
    "C": [6, 7, 8],
})

# Seriesオブジェクト取得
series = df["A"]

# 欠損値を平均値で置換
fillna_series = series.fillna(series.mean())

# 結果確認
print(fillna_series)

# 出力:
# 0    1.5
# 1    2.0
# 2    2.0

fillna メソッドは、以下の引数を指定できます。

• value: 欠損値を置換する値
• method: 平均値、中央値、最頻値など、置換値を計算する方法
• axis: 欠損値を置換する軸

interpolate メソッド

欠損値前後にある値を利用して補間したい場合は、interpolate メソッドを使用できます。

# 欠損値を線形補完で置換
interpolate_series = series.interpolate()

# 結果確認
print(interpolate_series)

# 出力:
# 0    1.5
# 1    2.0
# 2    2.0

interpolate メソッドは、以下の引数を指定できます。

• method: 線形補完、二次補完など、補完方法
• axis: 補完を行う軸
• limit: 補完する最大間隔

isnull メソッド

欠損値を含む行や列を抽出したい場合は、isnull メソッドを使用できます。

# 欠損値を含む行を抽出
index_list = series.isnull().index

# 結果確認
print(index_list)

# 出力:
# Int64Index([1], dtype='int64')

isnull メソッドは、以下の引数を指定できます。

自作関数

上記の方法以外にも、欠損値の個数や分布などに応じて、自作関数を作成して処理することもできます。

pandas.Series.dropna メソッド以外にも、欠損値処理には様々な方法があります。データの状況や目的に応じて、最適な方法を選択することが重要です。