# ===== 欠損値を検出する ===== import pandas as pd import numpy as np # サンプルデータ（欠損値あり） df = pd.DataFrame({ ‘name’: [‘山田’, ‘佐藤’, ‘鈴木’, ‘田中’, ‘高橋’], ‘age’: [25, np.nan, 30, 28, np.nan], ‘email’: [‘yamada@ex.com’, None, ‘suzuki@ex.com’, ‘tanaka@ex.com’, None], ‘score’: [80, 90, np.nan, 85, 70] }) print(“=== 元のデータ ===”) print(df) print() # 1. isnull() – 欠損値ならTrue、そうでなければFalse print(“=== isnull() で欠損値の位置を確認 ===”) print(df.isnull()) print() # 2. 各カラムの欠損値の数をカウント print(“=== 各カラムの欠損値の数 ===”) print(df.isnull().sum()) print() # 3. 欠損値の割合を計算 print(“=== 欠損値の割合（%）===”) print((df.isnull().sum() / len(df) * 100).round(1)) print() # 4. 欠損値がある行だけを表示 print(“=== 欠損値を含む行 ===”) print(df[df.isnull().any(axis=1)])

# ===== 欠損値を削除する ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘A’: [1, 2, np.nan, 4], ‘B’: [5, np.nan, np.nan, 8], ‘C’: [9, 10, 11, 12] }) print(“=== 元のデータ ===”) print(df) print() # 1. 欠損値を含む行を削除（デフォルト） df_dropped_rows = df.dropna() print(“=== 欠損値を含む行を削除 ===”) print(df_dropped_rows) print() # 2. 欠損値を含む列を削除 df_dropped_cols = df.dropna(axis=1) print(“=== 欠損値を含む列を削除 ===”) print(df_dropped_cols) print() # 3. すべてのカラムが欠損している行だけ削除 df_dropped_all = df.dropna(how=’all’) print(“=== すべてNaNの行だけ削除 ===”) print(df_dropped_all) print() # 4. 特定のカラムに欠損がある行を削除 df_dropped_subset = df.dropna(subset=[‘A’]) print(“=== カラムAに欠損がある行を削除 ===”) print(df_dropped_subset) print() # 5. 欠損値がN個以上ある行を削除（thresh） df_dropped_thresh = df.dropna(thresh=2) # 非欠損が2個以上ある行を残す print(“=== 非欠損値が2個以上ある行を残す ===”) print(df_dropped_thresh)

# ===== 欠損値を補完する ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘age’: [25, np.nan, 30, 28, np.nan], ‘price’: [1000, 1500, np.nan, 2000, 1800], ‘category’: [‘A’, np.nan, ‘A’, ‘B’, np.nan] }) print(“=== 元のデータ ===”) print(df) print() # 1. 固定値で埋める df1 = df.copy() df1[‘age’] = df1[‘age’].fillna(0) print(“=== ageを0で補完 ===”) print(df1) print() # 2. 平均値で埋める df2 = df.copy() mean_price = df2[‘price’].mean() df2[‘price’] = df2[‘price’].fillna(mean_price) print(f”=== priceを平均値({mean_price:.0f})で補完 ===”) print(df2) print() # 3. 中央値で埋める df3 = df.copy() median_age = df3[‘age’].median() df3[‘age’] = df3[‘age’].fillna(median_age) print(f”=== ageを中央値({median_age})で補完 ===”) print(df3) print() # 4. 最頻値で埋める（カテゴリデータに有効） df4 = df.copy() mode_category = df4[‘category’].mode()[0] # mode()はSeriesを返すので[0] df4[‘category’] = df4[‘category’].fillna(mode_category) print(f”=== categoryを最頻値({mode_category})で補完 ===”) print(df4)

# ===== 時系列データの補完 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘date’: pd.date_range(‘2024-01-01’, periods=5), ‘value’: [100, np.nan, np.nan, 130, 140] }) print(“=== 元のデータ ===”) print(df) print() # 1. 前の値で埋める（forward fill） df1 = df.copy() df1[‘value’] = df1[‘value’].ffill() # fillna(method=’ffill’)と同じ print(“=== 前の値で補完（ffill）===”) print(df1) print() # 2. 次の値で埋める（backward fill） df2 = df.copy() df2[‘value’] = df2[‘value’].bfill() # fillna(method=’bfill’)と同じ print(“=== 次の値で補完（bfill）===”) print(df2) print() # 3. 線形補間 df3 = df.copy() df3[‘value’] = df3[‘value’].interpolate() print(“=== 線形補間 ===”) print(df3)

# ===== 実践的な欠損値処理 ===== import pandas as pd import numpy as np # ユーザーデータ（欠損あり） df = pd.DataFrame({ ‘user_id’: [1, 2, 3, 4, 5], ‘name’: [‘山田’, ‘佐藤’, np.nan, ‘田中’, ‘鈴木’], ‘age’: [25, np.nan, 30, 28, np.nan], ‘gender’: [‘M’, ‘F’, np.nan, ‘M’, ‘F’], ‘email’: [‘yamada@ex.com’, None, ‘test@ex.com’, None, ‘suzuki@ex.com’], ‘purchase_count’: [5, np.nan, 3, 8, np.nan] }) print(“=== 元のデータ ===”) print(df) print(f”\n欠損値の数:\n{df.isnull().sum()}”) print(f”\n欠損値の割合:\n{(df.isnull().sum() / len(df) * 100).round(1)}%”) # クリーニング処理 df_clean = df.copy() # 1. nameの欠損は削除（名前がないユーザーは無効） df_clean = df_clean.dropna(subset=[‘name’]) # 2. ageの欠損は中央値で補完（外れ値の影響を避ける） median_age = df_clean[‘age’].median() df_clean[‘age’] = df_clean[‘age’].fillna(median_age) # 3. genderの欠損は最頻値で補完 mode_gender = df_clean[‘gender’].mode()[0] df_clean[‘gender’] = df_clean[‘gender’].fillna(mode_gender) # 4. emailの欠損は固定値で補完 df_clean[‘email’] = df_clean[‘email’].fillna(‘unknown@example.com’) # 5. purchase_countの欠損は0で補完（購入なし=0回） df_clean[‘purchase_count’] = df_clean[‘purchase_count’].fillna(0) print(“\n=== クリーニング後 ===”) print(df_clean) print(f”\n欠損値の数:\n{df_clean.isnull().sum()}”)

# ===== 重複を検出する ===== import pandas as pd df = pd.DataFrame({ ‘user_id’: [1, 2, 3, 2, 4, 3], ‘name’: [‘山田’, ‘佐藤’, ‘鈴木’, ‘佐藤’, ‘田中’, ‘鈴木’], ‘email’: [‘yamada@ex.com’, ‘sato@ex.com’, ‘suzuki@ex.com’, ‘sato@ex.com’, ‘tanaka@ex.com’, ‘suzuki@ex.com’] }) print(“=== 元のデータ ===”) print(df) print() # 1. 重複している行を検出（Trueなら重複） print(“=== duplicated()（全カラムで判定）===”) print(df.duplicated()) print() # 2. 重複している行を表示 print(“=== 重複している行 ===”) print(df[df.duplicated()]) print() # 3. 特定のカラムだけで重複をチェック print(“=== emailカラムで重複チェック ===”) print(df.duplicated(subset=[‘email’])) print() # 4. 重複の数をカウント print(f”=== 重複数 ===”) print(f”全カラム: {df.duplicated().sum()}件”) print(f”emailのみ: {df.duplicated(subset=[‘email’]).sum()}件”)

# ===== keepパラメータの違い ===== import pandas as pd df = pd.DataFrame({ ‘id’: [1, 2, 2, 3, 3, 3], ‘value’: [‘A’, ‘B’, ‘B’, ‘C’, ‘C’, ‘C’] }) print(“=== 元のデータ ===”) print(df) print() # keep=’first’（デフォルト）：最初の出現を残し、2回目以降をTrueに print(“=== keep=’first’（最初を残す）===”) print(df.duplicated(keep=’first’)) print() # keep=’last’：最後の出現を残し、それ以前をTrueに print(“=== keep=’last’（最後を残す）===”) print(df.duplicated(keep=’last’)) print() # keep=False：すべての重複をTrueに（重複しているものをすべて見つける） print(“=== keep=False（すべての重複をマーク）===”) print(df.duplicated(keep=False))

# ===== 重複を削除する ===== import pandas as pd df = pd.DataFrame({ ‘user_id’: [1, 2, 3, 2, 4], ‘name’: [‘山田’, ‘佐藤’, ‘鈴木’, ‘佐藤’, ‘田中’], ‘email’: [‘yamada@ex.com’, ‘sato@ex.com’, ‘suzuki@ex.com’, ‘sato@ex.com’, ‘tanaka@ex.com’] }) print(“=== 元のデータ ===”) print(df) print(f”行数: {len(df)}”) print() # 1. 完全に同じ行を削除（最初の出現を残す） df_unique = df.drop_duplicates() print(“=== 重複削除（全カラム）===”) print(df_unique) print(f”行数: {len(df_unique)}”) print() # 2. 特定のカラムで重複チェック df_unique_email = df.drop_duplicates(subset=[‘email’]) print(“=== 重複削除（emailカラムのみ）===”) print(df_unique_email) print() # 3. 最後の出現を残す df_last = df.drop_duplicates(subset=[‘email’], keep=’last’) print(“=== 重複削除（最後を残す）===”) print(df_last)

# ===== 実践的な重複処理 ===== import pandas as pd # 顧客データ（重複あり） df = pd.DataFrame({ ‘customer_id’: [1, 2, 3, 2, 4, 3], ‘name’: [‘山田太郎’, ‘佐藤花子’, ‘鈴木一郎’, ‘佐藤花子’, ‘田中美咲’, ‘鈴木一郎’], ‘email’: [‘yamada@ex.com’, ‘sato@ex.com’, ‘suzuki@ex.com’, ‘sato@ex.com’, ‘tanaka@ex.com’, ‘suzuki@ex.com’], ‘purchase_date’: [‘2024-01-01’, ‘2024-01-02’, ‘2024-01-03’, ‘2024-01-15’, ‘2024-01-05’, ‘2024-01-20’], ‘amount’: [1000, 2000, 1500, 3000, 2500, 1800] }) print(“=== 元のデータ ===”) print(df) # 重複チェック（emailで判定） dup_count = df.duplicated(subset=[‘email’]).sum() print(f”\n重複数（emailで判定）: {dup_count}件”) # 重複の詳細を確認 print(“\n=== 重複しているすべての行 ===”) print(df[df.duplicated(subset=[‘email’], keep=False)]) # 重複を削除（最新の購入日を残す） # まず日付でソート（降順） df[‘purchase_date’] = pd.to_datetime(df[‘purchase_date’]) df_sorted = df.sort_values(‘purchase_date’, ascending=False) # 重複削除（keep=’first’ = 最新を残す） df_clean = df_sorted.drop_duplicates(subset=[‘email’], keep=’first’) # customer_idでソートして元の順序に近づける df_clean = df_clean.sort_values(‘customer_id’).reset_index(drop=True) print(“\n=== 重複削除後（最新のデータを保持）===”) print(df_clean) print(f”\n削除前: {len(df)}行 → 削除後: {len(df_clean)}行”)

# ===== データ型を確認する ===== import pandas as pd df = pd.DataFrame({ ‘user_id’: [1, 2, 3], ‘age’: [25, 30, 28], ‘price’: [1000.0, 1500.5, 2000.0], ‘name’: [‘山田’, ‘佐藤’, ‘鈴木’], ‘is_active’: [True, False, True] }) # 1. 各カラムのデータ型を表示 print(“=== dtypes ===”) print(df.dtypes) print() # 2. 詳細情報（メモリ使用量も） print(“=== info() ===”) df.info()

# ===== astype()で型変換 ===== import pandas as pd df = pd.DataFrame({ ‘user_id’: [‘1’, ‘2’, ‘3’], # 文字列 ‘age’: [’25’, ’30’, ’28’], # 文字列 ‘price’: [‘1000.5’, ‘1500’, ‘2000’] # 文字列 }) print(“=== 変換前 ===”) print(df.dtypes) print() # 文字列 → 整数 df[‘user_id’] = df[‘user_id’].astype(‘int64’) df[‘age’] = df[‘age’].astype(‘int32’) # 文字列 → 浮動小数点 df[‘price’] = df[‘price’].astype(‘float64’) print(“=== 変換後 ===”) print(df.dtypes) print() # 計算ができるようになった！ print(f”年齢の合計: {df[‘age’].sum()}”) print(f”価格の平均: {df[‘price’].mean():.1f}”)

# ===== pd.to_numeric()で安全に変換 ===== import pandas as pd df = pd.DataFrame({ ‘price’: [‘1000’, ‘1500’, ‘invalid’, ‘2000’, ‘N/A’] }) print(“=== 元のデータ ===”) print(df) print() # 1. errors=’coerce’：変換できないものはNaNに df1 = df.copy() df1[‘price’] = pd.to_numeric(df1[‘price’], errors=’coerce’) print(“=== errors=’coerce’（NaNに変換）===”) print(df1) print() # 2. errors=’ignore’：変換できないものは元の値を保持 df2 = df.copy() df2[‘price’] = pd.to_numeric(df2[‘price’], errors=’ignore’) print(“=== errors=’ignore’（元の値を保持）===”) print(df2) print() # 3. errors=’raise’（デフォルト）：エラーを発生 try: df3 = df.copy() df3[‘price’] = pd.to_numeric(df3[‘price’], errors=’raise’) except ValueError as e: print(f”=== errors=’raise’（エラー発生）===”) print(f”エラー: {e}”)

# ===== pd.to_datetime()で日付に変換 ===== import pandas as pd # 様々な形式の日付 df = pd.DataFrame({ ‘date1’: [‘2024-01-01’, ‘2024-01-02’, ‘2024-01-03’], ‘date2’: [‘2024/1/1’, ‘2024/1/2’, ‘2024/1/3’], ‘date3’: [‘2024年1月1日’, ‘2024年1月2日’, ‘2024年1月3日’], ‘date4′: [’01-Jan-2024′, ’02-Jan-2024′, ’03-Jan-2024’] }) print(“=== 変換前（すべてobject型）===”) print(df.dtypes) print() # 標準的な形式は自動認識 df[‘date1’] = pd.to_datetime(df[‘date1’]) df[‘date2’] = pd.to_datetime(df[‘date2’]) # 日本語形式はformatを指定 df[‘date3’] = pd.to_datetime(df[‘date3′], format=’%Y年%m月%d日’) # 英語形式もformatを指定 df[‘date4’] = pd.to_datetime(df[‘date4′], format=’%d-%b-%Y’) print(“=== 変換後（すべてdatetime64）===”) print(df.dtypes) print() # 日付の各要素を取り出す print(“=== 日付の要素を取り出す ===”) print(f”年: {df[‘date1’].dt.year.tolist()}”) print(f”月: {df[‘date1’].dt.month.tolist()}”) print(f”日: {df[‘date1’].dt.day.tolist()}”) print(f”曜日: {df[‘date1’].dt.day_name().tolist()}”)

# ===== 実践的なデータ型変換 ===== import pandas as pd # CSVから読み込んだデータ（型が適切でない） df = pd.DataFrame({ ‘user_id’: [‘1’, ‘2’, ‘3’, ‘4’], ‘age’: [’25’, ’30’, ’28’, ’35’], ‘price’: [‘1000’, ‘1500’, ‘N/A’, ‘2000’], ‘order_date’: [‘2024-01-01’, ‘2024-01-02’, ‘2024-01-03’, ‘2024-01-04’], ‘category’: [‘A’, ‘B’, ‘A’, ‘C’], ‘is_premium’: [‘True’, ‘False’, ‘True’, ‘False’] }) print(“=== 変換前 ===”) print(df.dtypes) print() # データ型を変換 df_clean = df.copy() # 整数に変換 df_clean[‘user_id’] = df_clean[‘user_id’].astype(‘int32’) df_clean[‘age’] = df_clean[‘age’].astype(‘int32’) # 数値に変換（N/AはNaNに） df_clean[‘price’] = pd.to_numeric(df_clean[‘price’], errors=’coerce’) # 日付に変換 df_clean[‘order_date’] = pd.to_datetime(df_clean[‘order_date’]) # カテゴリに変換（メモリ効率化） df_clean[‘category’] = df_clean[‘category’].astype(‘category’) # 真偽値に変換 df_clean[‘is_premium’] = df_clean[‘is_premium’].map({‘True’: True, ‘False’: False}) print(“=== 変換後 ===”) print(df_clean.dtypes) print() print(df_clean)