# ===== 基本的な異常値検出 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘name’: [‘山田’, ‘佐藤’, ‘鈴木’, ‘田中’, ‘高橋’, ‘渡辺’], ‘age’: [25, 30, -5, 28, 150, 35], ‘price’: [1000, 1500, -500, 2000, 0, 1800] }) print(“=== 元のデータ ===”) print(df) print() # 1. 年齢の異常値を検出（0未満または120より大きい） print(“=== 異常な年齢（0未満 or 120超）===”) invalid_age = df[(df[‘age’] < 0) | (df['age'] > 120)] print(invalid_age) print() # 2. 価格の異常値を検出（0以下） print(“=== 異常な価格（0以下）===”) invalid_price = df[df[‘price’] <= 0] print(invalid_price) print() # 3. 正常なデータだけを抽出 print("=== 正常なデータ ===") valid_df = df[ (df['age'] >= 0) & (df[‘age’] <= 120) & (df['price'] > 0) ] print(valid_df)

# ===== 複数条件での異常値検出 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘product_name’: [‘ノートPC’, ”, ‘マウス’, ‘キーボード’, ‘モニター’], ‘price’: [89800, 1500, 1980, -100, 25000], ‘stock’: [10, 50, 5, 30, -5], ‘category’: [‘PC’, ‘PC’, ‘アクセサリ’, ‘アクセサリ’, ‘PC’] }) print(“=== 元のデータ ===”) print(df) # 異常値を検出するフラグを作成 df[‘is_invalid’] = False # 条件1: 商品名が空 df.loc[df[‘product_name’] == ”, ‘is_invalid’] = True # 条件2: 価格が異常（100円未満または100万円超） df.loc[(df[‘price’] < 100) | (df['price'] > 1000000), ‘is_invalid’] = True # 条件3: 在庫が負 df.loc[df[‘stock’] < 0, 'is_invalid'] = True # 異常データを表示 print("\n=== 異常なデータ ===") print(df[df['is_invalid']]) # 正常なデータだけを抽出 df_clean = df[~df['is_invalid']].drop('is_invalid', axis=1) print("\n=== 正常なデータ ===") print(df_clean)

# ===== 異常値の対処方法 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘age’: [25, 30, -5, 28, 150, 35], ‘price’: [1000, 1500, -500, 2000, 0, 1800] }) print(“=== 元のデータ ===”) print(df) # 方法1: 削除 df1 = df.copy() df1 = df1[(df1[‘age’] >= 0) & (df1[‘age’] <= 120)] print("\n=== 方法1: 削除 ===") print(df1) # 方法2: NaNに置換してから補完 df2 = df.copy() df2.loc[(df2['age'] < 0) | (df2['age'] > 120), ‘age’] = np.nan df2[‘age’] = df2[‘age’].fillna(df2[‘age’].median()) print(“\n=== 方法2: 中央値で補完 ===”) print(df2) # 方法3: クリッピング（上限・下限で切り詰め） df3 = df.copy() df3[‘age’] = df3[‘age’].clip(lower=0, upper=120) print(“\n=== 方法3: クリッピング（0〜120）===”) print(df3)

# ===== 実践的な異常値処理 ===== import pandas as pd import numpy as np # 注文データ（異常値あり） df = pd.DataFrame({ ‘order_id’: [1, 2, 3, 4, 5, 6], ‘product_name’: [‘ノートPC’, ”, ‘マウス’, ‘キーボード’, ‘モニター’, ‘ヘッドホン’], ‘quantity’: [2, 5, -1, 3, 1000, 1], ‘price’: [89800, 1500, 1980, -500, 25000, 8900], ‘order_date’: [‘2024-01-01’, ‘2050-12-31’, ‘2024-01-03’, ‘2024-01-04’, ‘2024-01-05’, ‘2024-01-06’] }) print(“=== 元のデータ ===”) print(df) # クリーニング処理 df_clean = df.copy() # 1. 商品名が空の行を削除 print(“\n【処理1】商品名が空の行を削除”) before = len(df_clean) df_clean = df_clean[df_clean[‘product_name’] != ”] print(f” 削除数: {before – len(df_clean)}件”) # 2. 数量が異常（0以下または100超）な行を削除 print(“\n【処理2】数量が異常な行を削除”) before = len(df_clean) df_clean = df_clean[(df_clean[‘quantity’] > 0) & (df_clean[‘quantity’] <= 100)] print(f" 削除数: {before - len(df_clean)}件") # 3. 価格が異常（0以下）なものを中央値で置換 print("\n【処理3】価格が異常なものを中央値で置換") median_price = df_clean[df_clean['price'] > 0][‘price’].median() invalid_price_count = (df_clean[‘price’] <= 0).sum() df_clean.loc[df_clean['price'] <= 0, 'price'] = median_price print(f" 置換数: {invalid_price_count}件（中央値: {median_price}円）") # 4. 日付が未来のものを削除 print("\n【処理4】日付が未来の行を削除") df_clean['order_date'] = pd.to_datetime(df_clean['order_date']) before = len(df_clean) df_clean = df_clean[df_clean['order_date'] <= pd.Timestamp.now()] print(f" 削除数: {before - len(df_clean)}件") # インデックスをリセット df_clean = df_clean.reset_index(drop=True) print("\n=== クリーニング後 ===") print(df_clean)

# ===== IQRで外れ値を検出 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘price’: [1000, 1200, 1100, 1300, 1150, 1250, 5000, 1180, 950, 1050] }) print(“=== 元のデータ ===”) print(df[‘price’].values) # IQR（四分位範囲）を計算 Q1 = df[‘price’].quantile(0.25) # 第1四分位数（25%） Q3 = df[‘price’].quantile(0.75) # 第3四分位数（75%） IQR = Q3 – Q1 # 外れ値の範囲を計算 lower_bound = Q1 – 1.5 * IQR # 下限 upper_bound = Q3 + 1.5 * IQR # 上限 print(f”\n=== IQRの計算 ===”) print(f”Q1（25%）: {Q1}”) print(f”Q3（75%）: {Q3}”) print(f”IQR: {IQR}”) print(f”外れ値の下限: {lower_bound}”) print(f”外れ値の上限: {upper_bound}”) # 外れ値を検出 outliers = df[(df[‘price’] < lower_bound) | (df['price'] > upper_bound)] print(f”\n=== 外れ値 ===”) print(outliers) # 外れ値を除外 df_clean = df[(df[‘price’] >= lower_bound) & (df[‘price’] <= upper_bound)] print(f"\n=== 外れ値除外後 ===") print(df_clean['price'].values)

# ===== Zスコアで外れ値を検出 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘price’: [1000, 1200, 1100, 1300, 1150, 1250, 5000, 1180] }) print(“=== 元のデータ ===”) print(df[‘price’].values) # Zスコアを計算 mean = df[‘price’].mean() std = df[‘price’].std() df[‘z_score’] = (df[‘price’] – mean) / std print(f”\n平均: {mean:.2f}”) print(f”標準偏差: {std:.2f}”) print(“\n=== Zスコア ===”) print(df) # |Z| > 2 を外れ値とする outliers_2 = df[np.abs(df[‘z_score’]) > 2] print(f”\n=== 外れ値（|Z| > 2）===”) print(outliers_2) # |Z| > 3 を外れ値とする outliers_3 = df[np.abs(df[‘z_score’]) > 3] print(f”\n=== 外れ値（|Z| > 3）===”) print(outliers_3 if len(outliers_3) > 0 else “なし”)

# ===== 外れ値の処理方法 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘price’: [1000, 1200, 1100, 1300, 1150, 1250, 5000, 1180] }) # IQRで外れ値の範囲を計算 Q1 = df[‘price’].quantile(0.25) Q3 = df[‘price’].quantile(0.75) IQR = Q3 – Q1 lower = Q1 – 1.5 * IQR upper = Q3 + 1.5 * IQR print(f”外れ値の範囲: {lower:.0f} 〜 {upper:.0f}”) print(f”元のデータ: {df[‘price’].values}”) # 方法1: 削除 df1 = df[(df[‘price’] >= lower) & (df[‘price’] <= upper)].copy() print(f"\n【方法1】削除後: {df1['price'].values}") # 方法2: クリッピング（上限・下限で切り詰め） df2 = df.copy() df2['price'] = df2['price'].clip(lower=lower, upper=upper) print(f"【方法2】クリッピング後: {df2['price'].values}") # 方法3: 中央値で置換 df3 = df.copy() median = df3[(df3['price'] >= lower) & (df3[‘price’] <= upper)]['price'].median() df3.loc[(df3['price'] < lower) | (df3['price'] > upper), ‘price’] = median print(f”【方法3】中央値({median:.0f})で置換後: {df3[‘price’].values}”)

# ===== Min-Max正規化 ===== import pandas as pd df = pd.DataFrame({ ‘age’: [25, 30, 35, 40, 45], ‘salary’: [3000000, 4000000, 5000000, 6000000, 7000000] }) print(“=== 元のデータ ===”) print(df) # 手動でMin-Max正規化 df[‘age_normalized’] = (df[‘age’] – df[‘age’].min()) / (df[‘age’].max() – df[‘age’].min()) df[‘salary_normalized’] = (df[‘salary’] – df[‘salary’].min()) / (df[‘salary’].max() – df[‘salary’].min()) print(“\n=== 手動で正規化 ===”) print(df) # scikit-learnを使う方法 from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() df[[‘age_sklearn’, ‘salary_sklearn’]] = scaler.fit_transform(df[[‘age’, ‘salary’]]) print(“\n=== scikit-learnで正規化 ===”) print(df[[‘age’, ‘salary’, ‘age_sklearn’, ‘salary_sklearn’]])

# ===== 標準化 ===== import pandas as pd from sklearn.preprocessing import StandardScaler df = pd.DataFrame({ ‘age’: [25, 30, 35, 40, 45], ‘salary’: [3000000, 4000000, 5000000, 6000000, 7000000] }) print(“=== 元のデータ ===”) print(df) # 手動で標準化 df[‘age_standardized’] = (df[‘age’] – df[‘age’].mean()) / df[‘age’].std() # scikit-learnで標準化 scaler = StandardScaler() df[[‘age_std’, ‘salary_std’]] = scaler.fit_transform(df[[‘age’, ‘salary’]]) print(“\n=== 標準化後 ===”) print(df) print(“\n=== 確認：平均と標準偏差 ===”) print(f”age_std の平均: {df[‘age_std’].mean():.10f}”) print(f”age_std の標準偏差: {df[‘age_std’].std():.10f}”)

# ===== ログ変換 ===== import pandas as pd import numpy as np df = pd.DataFrame({ ‘income’: [2000000, 3000000, 4000000, 8000000, 50000000] }) print(“=== 元のデータ ===”) print(df) print(f”平均: {df[‘income’].mean():,.0f}円”) print(f”中央値: {df[‘income’].median():,.0f}円”) # ログ変換（自然対数） df[‘income_log’] = np.log(df[‘income’]) # log1p（log(1+x)）：0があってもOK df[‘income_log1p’] = np.log1p(df[‘income’]) print(“\n=== ログ変換後 ===”) print(df) # 元に戻す df[‘income_restored’] = np.exp(df[‘income_log’]) print(“\n=== 元に戻す（exp）===”) print(df[[‘income’, ‘income_restored’]])

# ===== 汚いデータの作成 ===== import pandas as pd import numpy as np # 汚いデータ（様々な問題を含む） df = pd.DataFrame({ ‘customer_id’: [1, 2, 3, 2, 4, 5, 6, 7, 8], ‘name’: [‘山田太郎’, ‘佐藤花子’, ”, ‘佐藤花子’, ‘鈴木一郎’, ‘田中美咲’, ‘高橋健太’, ‘渡辺由美’, ‘伊藤翔太’], ‘age’: [25, np.nan, 30, 28, -5, 150, 35, 40, 45], ‘email’: [‘yamada@ex.com’, ‘sato@ex.com’, ‘suzuki@ex.com’, ‘sato@ex.com’, ‘tanaka@ex.com’, ‘takahashi@ex.com’, ”, ‘watanabe@ex.com’, ‘ito@ex.com’], ‘purchase_amount’: [10000, ‘15000’, 20000, 18000, -5000, 50000, 8000, 12000, 0], ‘purchase_date’: [‘2024-01-01’, ‘2024-01-02’, ‘2024-01-03’, ‘2024-01-04’, ‘2050-12-31’, ‘2024-01-06’, ‘2024-01-07’, ‘2024-01-08’, ‘2024-01-09’] }) print(“=== 汚いデータ ===”) print(df) print(f”\nデータ型:\n{df.dtypes}”) print(f”\n欠損値:\n{df.isnull().sum()}”)

# ===== 完全なクリーニング処理 ===== import pandas as pd import numpy as np from datetime import datetime # （上記の汚いデータを使用） print(“\n” + “=” * 60) print(“データクリーニング開始”) print(“=” * 60) # ステップ1: 重複を削除（emailで判定、最初を残す） print(“\n【ステップ1】重複削除（emailで判定）”) before_count = len(df) df = df.drop_duplicates(subset=[‘email’], keep=’first’) print(f” → 削除数: {before_count – len(df)}件”) # ステップ2: 空の名前を削除 print(“\n【ステップ2】空の名前を削除”) before_count = len(df) df = df[df[‘name’] != ”] print(f” → 削除数: {before_count – len(df)}件”) # ステップ3: 年齢の欠損値を中央値で補完 print(“\n【ステップ3】年齢の欠損値を中央値で補完”) # まず正常な範囲のデータだけで中央値を計算 valid_ages = df[(df[‘age’] >= 0) & (df[‘age’] <= 120)]['age'] median_age = valid_ages.median() missing_count = df['age'].isnull().sum() df['age'] = df['age'].fillna(median_age) print(f" → 補完数: {missing_count}件（中央値: {median_age}歳）") # ステップ4: 年齢の異常値を削除 print("\n【ステップ4】年齢の異常値を削除（0未満 or 120超）") before_count = len(df) df = df[(df['age'] >= 0) & (df[‘age’] <= 120)] print(f" → 削除数: {before_count - len(df)}件") # ステップ5: 購入金額のデータ型を変換 print("\n【ステップ5】購入金額のデータ型を数値に変換") df['purchase_amount'] = pd.to_numeric(df['purchase_amount'], errors='coerce') # ステップ6: 購入金額の異常値を削除（0以下） print("\n【ステップ6】購入金額の異常値を削除（0以下）") before_count = len(df) df = df[df['purchase_amount'] > 0] print(f” → 削除数: {before_count – len(df)}件”) # ステップ7: 購入日をdatetime型に変換 print(“\n【ステップ7】購入日をdatetime型に変換”) df[‘purchase_date’] = pd.to_datetime(df[‘purchase_date’]) # ステップ8: 未来の日付を削除 print(“\n【ステップ8】未来の日付を削除”) before_count = len(df) df = df[df[‘purchase_date’] <= pd.Timestamp.now()] print(f" → 削除数: {before_count - len(df)}件") # ステップ9: 空のメールアドレスを補完 print("\n【ステップ9】空のメールアドレスを補完") empty_email_count = (df['email'] == '').sum() df.loc[df['email'] == '', 'email'] = 'unknown@example.com' print(f" → 補完数: {empty_email_count}件") # ステップ10: 購入金額の外れ値処理（IQR） print("\n【ステップ10】購入金額の外れ値処理（IQR）") Q1 = df['purchase_amount'].quantile(0.25) Q3 = df['purchase_amount'].quantile(0.75) IQR = Q3 - Q1 lower = Q1 - 1.5 * IQR upper = Q3 + 1.5 * IQR before_count = len(df) df = df[(df['purchase_amount'] >= lower) & (df[‘purchase_amount’] <= upper)] print(f" → 削除数: {before_count - len(df)}件（範囲: {lower:.0f}〜{upper:.0f}）") # ステップ11: インデックスをリセット df = df.reset_index(drop=True) # ステップ12: データ型を最適化 df['customer_id'] = df['customer_id'].astype('int32') df['age'] = df['age'].astype('int32') df['purchase_amount'] = df['purchase_amount'].astype('int32') print("\n" + "=" * 60) print("データクリーニング完了") print("=" * 60) print(f"\n=== クリーニング後のデータ ===") print(df) print(f"\n=== データ型 ===") print(df.dtypes) print(f"\n=== 基本統計量 ===") print(df.describe())