JSONデータをPandasでDataFrameに変換：json_normalizeの使い方とサンプルコード

pandas.json_normalizeは、複雑なJSONデータを平坦なDataFrameに変換する強力なツールです。JSONデータは、階層構造やリスト、辞書など、さまざまな形式で表現されます。json_normalizeは、これらの複雑な構造を扱いやすくするために、データを正規化（flatten）します。

使い方

json_normalizeの基本的な使い方は以下の通りです。

import pandas as pd

# JSONデータ
data = [
    {
        "name": "John Doe",
        "age": 30,
        "address": {
            "street": "123 Main Street",
            "city": "New York",
            "state": "NY",
            "zip": "10001"
        },
        "phone_numbers": [
            {
                "type": "home",
                "number": "(123) 456-7890"
            },
            {
                "type": "mobile",
                "number": "(987) 654-3210"
            }
        ]
    },
    {
        "name": "Jane Doe",
        "age": 25,
        "address": {
            "street": "456 Elm Street",
            "city": "Los Angeles",
            "state": "CA",
            "zip": "90001"
        },
        "phone_numbers": [
            {
                "type": "home",
                "number": "(456) 123-4567"
            }
        ]
    }
]

# JSONデータをDataFrameに変換
df = pd.json_normalize(data)

# 結果
print(df)

#   name  age                                     address  ... phone_numbers_type_home phone_numbers_number_home phone_numbers_type_mobile phone_numbers_number_mobile
# 0  John Doe   30  {'street': '123 Main Street', 'city': ...        home          (123) 456-7890                     mobile          (987) 654-3210
# 1  Jane Doe   25  {'street': '456 Elm Street', 'city': ...        home          (456) 123-4567                            NaN

この例では、dataというリストに格納されたJSONデータをjson_normalizeで処理し、dfというDataFrameに変換しています。

主な引数

• data: 変換したいJSONデータ。dict、list、str型を受け取ります。
• record_path: リスト型で、JSONデータの各レコードを抽出するためのパスを指定します。
• meta: リスト型で、JSONデータのメタデータを抽出するためのパスを指定します。
• errors: エラー処理方法を指定します。'raise'（デフォルト）はエラー発生時に例外を発生させ、'ignore'はエラーを無視します。
• sep: 複数のキーを結合する際の区切り文字を指定します。デフォルトは.です。
• max_level: JSONデータの最大階層数を指定します。

詳細

json_normalizeには、上記以外にもさまざまな引数があります。詳細は以下のドキュメントを参照してください。

応用例

json_normalizeは、以下のようなさまざまな場面で役立ちます。

• APIから取得したJSONデータを分析する
• データベースから抽出

Pandasのjson_normalizeサンプルコード

import pandas as pd

# JSONデータ
data = [
    {"name": "John Doe", "age": 30},
    {"name": "Jane Doe", "age": 25},
]

# DataFrameに変換
df = pd.json_normalize(data)

# 結果
print(df)

#   name  age
# 0  John Doe   30
# 1  Jane Doe   25

複数階層のJSONデータの正規化

import pandas as pd

# JSONデータ
data = [
    {
        "name": "John Doe",
        "address": {
            "street": "123 Main Street",
            "city": "New York",
            "state": "NY",
            "zip": "10001",
        },
    },
    {
        "name": "Jane Doe",
        "address": {
            "street": "456 Elm Street",
            "city": "Los Angeles",
            "state": "CA",
            "zip": "90001",
        },
    },
]

# record_pathで階層を指定
df = pd.json_normalize(data, record_path="address")

# 結果
print(df)

#                                 street          city state  zip
# 0                        123 Main Street  New York    NY  10001
# 1                        456 Elm Street  Los Angeles    CA  90001

リスト型データの展開

import pandas as pd

# JSONデータ
data = [
    {
        "name": "John Doe",
        "phone_numbers": [
            {"type": "home", "number": "(123) 456-7890"},
            {"type": "mobile", "number": "(987) 654-3210"},
        ],
    },
    {
        "name": "Jane Doe",
        "phone_numbers": [{"type": "home", "number": "(456) 123-4567"}],
    },
]

# phone_numbersを列に展開
df = pd.json_normalize(data, record_path="phone_numbers")

# 結果
print(df)

#   name  type  number
# 0  John Doe  home  (123) 456-7890
# 1  John Doe  mobile  (987) 654-3210
# 2  Jane Doe  home  (456) 123-4567

メタデータの抽出

import pandas as pd

# JSONデータ
data = [
    {
        "name": "John Doe",
        "age": 30,
        "metadata": {"created_at": "2023-01-01"},
    },
    {
        "name": "Jane Doe",
        "age": 25,
        "metadata": {"created_at": "2023-01-02"},
    },
]

# metaでメタデータを抽出
df = pd.json_normalize(data, meta="metadata")

# 結果
print(df)

#   name  age  created_at
# 0  John Doe   30  2023-01-01
# 1  Jane Doe   25  2023-01-02

エラー処理

import pandas as pd

# JSONデータ
data = [
    {"name": "John Doe", "age": 30},
    {"name": "Jane Doe"},  # "age"キーがない
]

# errors='ignore'でエラーを無視
df = pd.json_normalize(data, errors="ignore")

# 結果
print(df)

#   name  age
# 0  John Doe   30
# 1  Jane Doe  NaN

その他のオプション

• sep: 複数のキーを結合する際の区切り文字
• max_level: JSONデータの最大階層数

詳細は Pandas ドキュメントの json_normalize を参照してください。

PandasでJSONデータを扱うその他の方法

DataFrame.from_dict

単純な構造のJSONデータであれば、DataFrame.from_dictを使ってDataFrameに変換できます。

import pandas as pd

# JSONデータ
data = {"name": ["John Doe", "Jane Doe"], "age": [30, 25]}

# DataFrameに変換
df = pd.DataFrame.from_dict(data)

# 結果
print(df)

#   name  age
# 0  John Doe   30
# 1  Jane Doe   25

DataFrame.from_records

リスト型で格納されたJSONデータを、DataFrame.from_recordsを使ってDataFrameに変換できます。

import pandas as pd

# JSONデータ
data = [
    {"name": "John Doe", "age": 30},
    {"name": "Jane Doe", "age": 25},
]

# DataFrameに変換
df = pd.DataFrame.from_records(data)

# 結果
print(df)

#   name  age
# 0  John Doe   30
# 1  Jane Doe   25

json.loadsを使ってJSONデータをPythonオブジェクトに変換し、それをPandasのDataFrameに変換する方法もあります。

import pandas as pd
import json

# JSONデータ
data = """
[
    {"name": "John Doe", "age": 30},
    {"name": "Jane Doe", "age": 25},
]
"""

# JSONデータをPythonオブジェクトに変換
json_data = json.loads(data)

# DataFrameに変換
df = pd.DataFrame(json_data)

# 結果
print(df)

#   name  age
# 0  John Doe   30
# 1  Jane Doe   25

ライブラリ

• jsonpath-rw: JSONパスの抽出に特化したライブラリ
• pydantic: JSONデータのバリデーションと型変換に特化したライブラリ

これらのライブラリを使うことで、より複雑なJSONデータ処理を行うことができます。

JSONデータの構造や処理内容によって、適切な方法は異なります。

• 構造が単純な場合は DataFrame.from_dict や DataFrame.from_records
• 複雑な構造の場合は json_normalize
• 特殊な処理が必要な場合は ライブラリの利用

それぞれの特徴を理解して、状況に応じて使い分けてください。