Pandas Expanding Window と statsmodels

Pandas の Expanding Window と aggregate 関数

aggregate 関数

Expanding Window と組み合わせて使用する aggregate 関数は、集計したい関数を指定することで、Window 内のデータを集計することができます。

例:

import pandas as pd

# データフレームを作成
df = pd.DataFrame({'data': [1, 2, 3, 4, 5]})

# Expanding Window を作成
window = df.expanding()

# aggregate 関数を使って累計値を計算
df['cumsum'] = window.aggregate('sum')

# 結果
#   data  cumsum
# 0     1       1
# 1     2       3
# 2     3       6
# 3     4      10
# 4     5      15

上記の例では、aggregate 関数に 'sum' を指定することで、Window 内のデータの累計値を計算しています。

aggregate 関数には、集計したい関数を指定する以外にも、以下の引数を指定することができます。

• func: 集計関数
• args: 集計関数に渡す引数
• kwargs: 集計関数に渡すキーワード引数

例:

# 平均値と標準偏差を計算
df['mean'] = window.aggregate('mean')
df['std'] = window.aggregate('std')

# 結果
#   data  cumsum   mean    std
# 0     1       1  1.000000
# 1     2       3  1.414214
# 2     3       6  1.732051
# 3     4      10  2.000000
# 4     5      15  2.236068

上記の例では、aggregate 関数を使って、平均値と標準偏差を計算しています。

• min_periods 引数を指定することで、集計を行うための最小データ数を指定することができます。
• center 引数を True に設定することで、Window の中心を基準に集計を行うことができます。

詳細については、Pandas の公式ドキュメントを参照してください。

Pandas Expanding Window サンプルコード

累計値

import pandas as pd

# データフレームを作成
df = pd.DataFrame({'data': [1, 2, 3, 4, 5]})

# Expanding Window を作成
window = df.expanding()

# 累計値を計算
df['cumsum'] = window.aggregate('sum')

# 結果
#   data  cumsum
# 0     1       1
# 1     2       3
# 2     3       6
# 3     4      10
# 4     5      15

平均値

# 平均値を計算
df['mean'] = window.aggregate('mean')

# 結果
#   data  cumsum   mean
# 0     1       1  1.000000
# 1     2       3  1.414214
# 2     3       6  1.732051
# 3     4      10  2.000000
# 4     5      15  2.236068

標準偏差

# 標準偏差を計算
df['std'] = window.aggregate('std')

# 結果
#   data  cumsum   mean    std
# 0     1       1  1.000000  0.000000
# 1     2       3  1.414214  0.707107
# 2     3       6  1.732051  0.577350
# 3     4      10  2.000000  0.707107
# 4     5      15  2.236068  0.816497

最小値

# 最小値を計算
df['min'] = window.aggregate('min')

# 結果
#   data  cumsum   mean    std   min
# 0     1       1  1.000000  0.000000   1
# 1     2       3  1.414214  0.707107   1
# 2     3       6  1.732051  0.577350   1
# 3     4      10  2.000000  0.707107   1
# 4     5      15  2.236068  0.816497   1

最大値

# 最大値を計算
df['max'] = window.aggregate('max')

# 結果
#   data  cumsum   mean    std   min   max
# 0     1       1  1.000000  0.000000   1     1
# 1     2       3  1.414214  0.707107   1     2
# 2     3       6  1.732051  0.577350   1     3
# 3     4      10  2.000000  0.707107   1     4
# 4     5      15  2.236068  0.816497   1     5

集計関数と引数

# 累計値と標準偏差を計算
def g(x):
    return x.sum(), x.std()

df['cumsum_std'] = window.aggregate(g)

# 結果
#   data  cumsum   mean    std  cumsum_std_0  cumsum_std_1
# 0     1       1  1.000000      1.000000        0.000000
# 1     2       3  1.414214      2.000000        0.707107
# 2     3       6  1.732051      3.000000        0.577350
# 3     4      10  2.0

Pandas Expanding Window の他の方法

自作関数

def expanding_aggregate(df, func, min_periods=1):
    """
    Expanding Window を利用した集計処理を行う自作関数

    Args:
        df: Pandas DataFrame
        func: 集計関数
        min_periods: 集計を行うための最小データ数

    Returns:
        Pandas DataFrame
    """

    results = []
    for i in range(len(df)):
        window = df.iloc[:i+1]
        if len(window) >= min_periods:
            result = func(window)
        else:
            result = None
        results.append(result)

    return pd.Series(results, index=df.index, name=func.__name__)

# 例
df['cumsum'] = expanding_aggregate(df['data'], sum, min_periods=1)

statsmodels ライブラリには、Expanding Window を利用した集計処理を行う関数 rolling_apply が提供されています。

from statsmodels.tsa.stattools import rolling_apply

# 例
df['cumsum'] = rolling_apply(df['data'], 1, sum)

Expanding Window を利用した集計処理には、aggregate 関数以外にも自作関数や statsmodels ライブラリの rolling_apply 関数などの方法があります。

それぞれの特徴を理解して、状況に応じて使い分けることが重要です。