# Titanicデータセットの読み込みと確認 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split, cross_val_score from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.impute import SimpleImputer # seabornに含まれるTitanicデータを使用 import seaborn as sns df = sns.load_dataset(‘titanic’) # 基本情報を確認 print(“データの形状:”, df.shape) print(“\n最初の5行:”) print(df.head()) # 欠損値を確認 print(“\n欠損値の数:”) print(df.isnull().sum())

# 前処理とモデル構築の例 # 使用する列を選択 features = [‘pclass’, ‘sex’, ‘age’, ‘sibsp’, ‘parch’, ‘fare’, ‘embarked’] target = ‘survived’ # データを準備 df_model = df[features + [target]].copy() # 欠損値を処理 # age: 中央値で補完 df_model[‘age’] = df_model[‘age’].fillna(df_model[‘age’].median()) # embarked: 最頻値で補完 df_model[‘embarked’] = df_model[‘embarked’].fillna(df_model[‘embarked’].mode()[0]) # カテゴリカル変数をエンコード # sex: male=0, female=1 df_model[‘sex’] = LabelEncoder().fit_transform(df_model[‘sex’]) # embarked: One-Hot Encoding df_model = pd.get_dummies(df_model, columns=[‘embarked’], drop_first=True) # 特徴量と目的変数を分離 X = df_model.drop(target, axis=1) y = df_model[target] print(“前処理後の特徴量:”) print(X.head())

# 特徴量エンジニアリングの例 def create_titanic_features(df): “””Titanicデータ用の特徴量作成””” df = df.copy() # 家族サイズ = 兄弟配偶者 + 親子 + 自分 df[‘FamilySize’] = df[‘sibsp’] + df[‘parch’] + 1 # 一人かどうか df[‘IsAlone’] = (df[‘FamilySize’] == 1).astype(int) # 年齢グループ df[‘AgeGroup’] = pd.cut( df[‘age’], bins=[0, 12, 18, 35, 60, 100], labels=[0, 1, 2, 3, 4] # 子供, 若者, 成人, 中年, 高齢 ).astype(int) return df # 特徴量を作成 X = create_titanic_features(X) print(“追加した特徴量:”) print(X[[‘FamilySize’, ‘IsAlone’, ‘AgeGroup’]].head())

# モデルの構築と評価 from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # データを分割 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) # スケーリング scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # モデルを比較 models = { ‘Logistic Regression’: LogisticRegression(max_iter=1000), ‘Random Forest’: RandomForestClassifier(n_estimators=100, random_state=42) } print(“モデル比較（5-Fold CV）:”) for name, model in models.items(): scores = cross_val_score(model, X_train_scaled, y_train, cv=5) print(f” {name}: {scores.mean():.4f} (±{scores.std():.4f})”)

# 不均衡データの対処法 from sklearn.utils import resample from imblearn.over_sampling import SMOTE # pip install imbalanced-learn # 方法1: アンダーサンプリング（多数派を減らす） def undersample(X, y): “””多数派クラスをサンプリングして少数派に合わせる””” # 少数派と多数派を分離 X_majority = X[y == 0] y_majority = y[y == 0] X_minority = X[y == 1] y_minority = y[y == 1] # 多数派を少数派と同じ数にダウンサンプリング X_majority_downsampled = resample( X_majority, replace=False, # 重複なし n_samples=len(X_minority), # 少数派と同じ数 random_state=42 ) y_majority_downsampled = resample( y_majority, replace=False, n_samples=len(y_minority), random_state=42 ) # 結合 X_balanced = pd.concat([X_majority_downsampled, X_minority]) y_balanced = pd.concat([y_majority_downsampled, y_minority]) return X_balanced, y_balanced

# 方法2: SMOTE（少数派を増やす） from imblearn.over_sampling import SMOTE def apply_smote(X_train, y_train): “”” SMOTEで少数派クラスを人工的に増やす SMOTE = Synthetic Minority Over-sampling Technique 少数派サンプル間を補間して、新しいサンプルを生成 “”” smote = SMOTE(random_state=42) X_resampled, y_resampled = smote.fit_resample(X_train, y_train) print(f”SMOTE前: {len(y_train)} サンプル”) print(f” 正常: {sum(y_train == 0)}, 不正: {sum(y_train == 1)}”) print(f”SMOTE後: {len(y_resampled)} サンプル”) print(f” 正常: {sum(y_resampled == 0)}, 不正: {sum(y_resampled == 1)}”) return X_resampled, y_resampled

# 方法3: class_weightを使う（最も簡単） from sklearn.ensemble import RandomForestClassifier # class_weight=’balanced’ で自動的に重みを調整 # 少数派クラスのサンプルに高い重みを与える model = RandomForestClassifier( n_estimators=100, class_weight=’balanced’, # 不均衡に対応 random_state=42 ) # 評価は Recall と F1-Score を使う from sklearn.metrics import classification_report, confusion_matrix # model.fit(X_train, y_train) # y_pred = model.predict(X_test) # print(classification_report(y_test, y_pred))

# RFM分析による顧客セグメンテーション import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans # RFM特徴量を計算する関数 def calculate_rfm(df, customer_id_col, date_col, amount_col, reference_date): “”” RFM分析の特徴量を計算 RFM = Recency, Frequency, Monetary – Recency: 最後の購入からの日数（小さいほど良い顧客） – Frequency: 購入回数（多いほど良い顧客） – Monetary: 合計購入金額（多いほど良い顧客） Parameters: df: 購買履歴データ customer_id_col: 顧客IDの列名 date_col: 購入日の列名 amount_col: 購入金額の列名 reference_date: 基準日（通常は最新の日付） “”” # 日付型に変換 df[date_col] = pd.to_datetime(df[date_col]) # 顧客ごとに集計 rfm = df.groupby(customer_id_col).agg({ date_col: lambda x: (reference_date – x.max()).days, # Recency customer_id_col: ‘count’, # Frequency amount_col: ‘sum’ # Monetary }) # 列名を変更 rfm.columns = [‘Recency’, ‘Frequency’, ‘Monetary’] return rfm # 使用例（ダミーデータ） # rfm = calculate_rfm(df, ‘customer_id’, ‘purchase_date’, ‘amount’, pd.Timestamp(‘2024-01-01’))

# K-meansクラスタリングの実行 def perform_clustering(rfm_data, n_clusters=4): “”” K-meansでクラスタリングを実行 Parameters: rfm_data: RFM特徴量のDataFrame n_clusters: クラスタ数 Returns: rfm_data: クラスタラベルを追加したDataFrame “”” # スケーリング（K-meansはスケールに敏感） scaler = StandardScaler() rfm_scaled = scaler.fit_transform(rfm_data) # K-meansを実行 kmeans = KMeans( n_clusters=n_clusters, random_state=42, n_init=10 # 初期値を10回試して最良を選択 ) # クラスタラベルを取得 rfm_data[‘Cluster’] = kmeans.fit_predict(rfm_scaled) return rfm_data, kmeans # エルボー法で最適なクラスタ数を決定 def find_optimal_clusters(data, max_k=10): “”” エルボー法で最適なクラスタ数を探す クラスタ数を増やすとSSE（誤差）は減少するが、 減少率が急に緩やかになる点（肘）が最適なクラスタ数 “”” scaler = StandardScaler() data_scaled = scaler.fit_transform(data) sse = [] # Sum of Squared Errors for k in range(1, max_k + 1): kmeans = KMeans(n_clusters=k, random_state=42, n_init=10) kmeans.fit(data_scaled) sse.append(kmeans.inertia_) # SSE # プロット import matplotlib.pyplot as plt plt.figure(figsize=(10, 6)) plt.plot(range(1, max_k + 1), sse, ‘bo-‘) plt.xlabel(‘クラスタ数’) plt.ylabel(‘SSE’) plt.title(‘エルボー法’) plt.show() return sse

# クラスタの解釈と可視化 def analyze_clusters(rfm_with_clusters): “”” 各クラスタの特徴を分析 “”” # クラスタごとの平均を計算 cluster_summary = rfm_with_clusters.groupby(‘Cluster’).agg({ ‘Recency’: ‘mean’, ‘Frequency’: ‘mean’, ‘Monetary’: ‘mean’ }).round(2) # 顧客数も追加 cluster_summary[‘Count’] = rfm_with_clusters.groupby(‘Cluster’).size() print(“クラスタ別の特徴:”) print(cluster_summary) # クラスタの解釈（例） # Recency低 + Frequency高 + Monetary高 → VIP顧客 # Recency高 + Frequency低 + Monetary低 → 離反顧客 return cluster_summary