Pandasでカテゴリカルデータの威力を解き放つ！CategoricalIndex徹底解説

pandas.CategoricalIndex：カテゴリカルデータの強力な味方

pandasはデータ分析に欠かせないPythonライブラリですが、データを効率的に扱うためには、データ型を理解することが重要です。pandas.CategoricalIndexは、カテゴリカルデータを扱うための強力なツールです。

カテゴリカルデータとは？

• 性別、国籍、血液型など、限られた値を持つデータを指します。
• 数値型と異なり、順序を持つ場合があります。(例: 「良い」、「普通」、「悪い」)
• 数値演算はできませんが、統計分析や可視化に役立ちます。

pandas.CategoricalIndexの利点

• メモリ使用量の削減
• カテゴリ順序に基づいたソートやフィルタリング
• 視覚化の簡便化
• データの理解と分析の向上

CategoricalIndexの基本操作

1 作成

import pandas as pd

# 文字列リストから作成
categories = ["A", "B", "C", "D"]
index = pd.CategoricalIndex(categories)

# データフレームに設定
df = pd.DataFrame({"data": [1, 2, 3, 4]}, index=index)

# カテゴリ順序の確認
df.index.categories

# 特定の値を含む行の取得
df.loc["B"]

# カテゴリ順序の変更
df.index = df.index.set_categories(["C", "A", "B", "D"])

2 属性

• categories: カテゴリ名のリスト
• codes: 各要素が属するカテゴリの番号
• dtype: カテゴリデータ型

3 メソッド

• add_categories: 新しいカテゴリを追加
• remove_categories: 不要なカテゴリを削除
• rename_categories: カテゴリ名の変更
• searchsorted: カテゴリに基づいて挿入位置を検索

高度な機能

• カテゴリ間のマッピング
• カテゴリカルデータの統計分析
• グループ化による集計

まとめ

pandas.CategoricalIndexは、カテゴリカルデータを扱うための強力なツールです。基本的な操作を理解し、高度な機能を活用することで、データ分析を効率化できます。

pandas.CategoricalIndex サンプルコード集

カテゴリカルIndexの作成

import pandas as pd

# 文字列リストから作成
categories = ["A", "B", "C", "D"]
index = pd.CategoricalIndex(categories)

# データフレームに設定
df = pd.DataFrame({"data": [1, 2, 3, 4]}, index=index)

# カテゴリ順序の確認
df.index.categories

# 特定の値を含む行の取得
df.loc["B"]

カテゴリ順序の変更

# カテゴリ順序の変更
df.index = df.index.set_categories(["C", "A", "B", "D"])

# 確認
df.index.categories

カテゴリの追加・削除

# 新しいカテゴリを追加
df.index = df.index.add_categories(["E"])

# 不要なカテゴリを削除
df.index = df.index.remove_categories(["E"])

# 確認
df.index.categories

カテゴリ名の変更

# カテゴリ名の変更
df.index = df.index.rename_categories({"A": "Alpha", "B": "Beta"})

# 確認
df.index.categories

カテゴリに基づいた挿入位置の検索

# カテゴリに基づいて挿入位置を検索
index = df.index

# "C" よりも前に挿入する位置
index.searchsorted("C")

# "D" よりも後に挿入する位置
index.searchsorted("D", side="right")

カテゴリ間のマッピング

# カテゴリ間のマッピング
mapping = {"A": "Alpha", "B": "Beta"}

# カテゴリ名をマッピング
df.index = df.index.map(mapping)

# 確認
df.index.categories

カテゴリカルデータの統計分析

# カテゴリごとのデータ件数
df.groupby(df.index).size()

# カテゴリごとの平均値
df.groupby(df.index).mean()

グループ化による集計

# カテゴリごとに集計
df.groupby(df.index).agg(["sum", "mean"])

# カテゴリと別の列で集計
df.groupby([df.index, "data"]).agg(["sum", "mean"])

応用例

• アンケート調査の回答データ分析
• 商品カテゴリごとの売上分析
• 顧客属性ごとの購買傾向分析

pandas.CategoricalIndex 以外の方法

dtype="category" オプション

df = pd.DataFrame({"data": ["A", "B", "C", "A"]}, dtype="category")

# 確認
df.dtypes

# カテゴリ順序の変更
df["data"].cat.set_categories(["C", "A", "B"])

pd.Categorical 型への変換

既存のデータフレーム列を pd.Categorical 型に変換することで、カテゴリカルデータとして扱えます。

df["data"] = pd.Categorical(df["data"])

# 確認
df.dtypes

# カテゴリ順序の変更
df["data"].cat.set_categories(["C", "A", "B"])

辞書やリストの使用

カテゴリカルデータの数が少ない場合、辞書やリストを使用して表現することもできます。

# 辞書
data = {"A": 1, "B": 2, "C": 3}

# リスト
categories = ["A", "B", "C"]

# データフレームへの変換
df = pd.DataFrame({"data": data.values()}, index=categories)

• データ量が多い場合: pandas.CategoricalIndex または dtype="category" オプション
• データ量が少ない場合: 辞書やリスト
• カテゴリ順序の変更頻度が高い場合: pandas.CategoricalIndex

pandas.CategoricalIndex はカテゴリカルデータを扱うための強力なツールですが、状況に応じて他の方法も検討しましょう。