# 相関係数による特徴量選択 import pandas as pd import numpy as np from sklearn.datasets import load_breast_cancer # データを読み込む cancer = load_breast_cancer() X = pd.DataFrame(cancer.data, columns=cancer.feature_names) y = pd.Series(cancer.target, name=’target’) # 目的変数との相関を計算 # corrwith()はDataFrameの各列とyの相関を計算 correlations = X.corrwith(y) # 相関の絶対値でソート（強い相関が上に来る） correlations_abs = correlations.abs().sort_values(ascending=False) print(“目的変数との相関（上位10個）:”) print(correlations_abs.head(10).round(4))

# SelectKBest: 上位k個の特徴量を選択 from sklearn.feature_selection import SelectKBest, f_classif, mutual_info_classif from sklearn.datasets import load_breast_cancer import pandas as pd # データを読み込む cancer = load_breast_cancer() X = pd.DataFrame(cancer.data, columns=cancer.feature_names) y = pd.Series(cancer.target, name=’target’) print(f”元の特徴量数: {X.shape[1]}”) print(f”特徴量名の例: {list(X.columns[:5])}”)

# ANOVA F値で上位10個を選択 selector = SelectKBest( score_func=f_classif, # 分類問題用のスコア関数 k=10 # 上位10個を選択 ) # fit_transform(): スコアを計算して特徴量を選択 X_selected = selector.fit_transform(X, y) print(f”SelectKBest (k=10):”) print(f”選択後の形状: {X_selected.shape}”)

# 選択された特徴量を確認 # get_support(): 選択された特徴量のブール配列を取得 selected_mask = selector.get_support() selected_features = X.columns[selected_mask] print(f”\n選択された特徴量:”) for i, name in enumerate(selected_features, 1): print(f” {i}. {name}”) # スコアを確認 # scores_: 各特徴量のスコア scores = pd.DataFrame({ ‘feature’: X.columns, ‘score’: selector.scores_ }).sort_values(‘score’, ascending=False) print(f”\nスコア（上位10）:”) print(scores.head(10).to_string(index=False))

# VarianceThresholdで低分散の特徴量を除去 from sklearn.feature_selection import VarianceThreshold # VarianceThresholdを作成 # threshold: 分散がこの値以下の特徴量を除去 var_selector = VarianceThreshold(threshold=0.1) # 変換を実行 X_var = var_selector.fit_transform(X) print(f”選択前: {X.shape[1]}特徴量”) print(f”選択後: {X_var.shape[1]}特徴量”) print(f”除去された: {X.shape[1] – X_var.shape[1]}特徴量”)

# RFE: 再帰的特徴量削除 from sklearn.feature_selection import RFE from sklearn.ensemble import RandomForestClassifier # 推定器（estimator）を作成 # RFEはこのモデルの特徴量重要度を使って選択する model = RandomForestClassifier(n_estimators=100, random_state=42) # RFEオブジェクトを作成 rfe = RFE( estimator=model, # 特徴量重要度を計算するモデル n_features_to_select=10, # 最終的に残す特徴量数 step=1 # 各ステップで1つずつ削除 ) # 実行 rfe.fit(X, y) print(f”RFEで選択された特徴量（{rfe.n_features_}個）:”)

# 選択された特徴量 # support_: 選択された特徴量のブール配列 selected_features = X.columns[rfe.support_] print(“選択された特徴量:”) for i, name in enumerate(selected_features, 1): print(f” {i}. {name}”) # 特徴量のランキング # ranking_: 各特徴量のランク（1が最も重要） ranking = pd.DataFrame({ ‘feature’: X.columns, ‘ranking’: rfe.ranking_ }).sort_values(‘ranking’) print(“\n特徴量のランキング（上位10）:”) print(ranking.head(10).to_string(index=False))

# RFECV: 交差検証で最適な特徴量数を決定 from sklearn.feature_selection import RFECV from sklearn.model_selection import StratifiedKFold model = RandomForestClassifier(n_estimators=100, random_state=42) # RFECVオブジェクトを作成 rfecv = RFECV( estimator=model, step=1, # 1つずつ削除 cv=StratifiedKFold(5), # 5-Fold層化交差検証 scoring=’accuracy’, # 正解率で評価 min_features_to_select=1 # 最小1個まで試す ) rfecv.fit(X, y) print(f”最適な特徴量数: {rfecv.n_features_}”) print(f”選択された特徴量: {list(X.columns[rfecv.support_])}”)

# Lassoによる特徴量選択 from sklearn.linear_model import Lasso from sklearn.preprocessing import StandardScaler # データをスケーリング scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # Lassoモデルを作成 # alpha: 正則化の強さ（大きいほど係数が0になりやすい） lasso = Lasso(alpha=0.01) lasso.fit(X_scaled, y) # 係数が0でない特徴量を確認 coef = pd.Series(lasso.coef_, index=X.columns) selected_by_lasso = coef[coef != 0] print(f”選択された特徴量数: {len(selected_by_lasso)}”) print(f”\n係数が0でない特徴量:”) print(selected_by_lasso.sort_values(key=abs, ascending=False))

# Random Forestの特徴量重要度 from sklearn.ensemble import RandomForestClassifier import numpy as np # Random Forestを訓練 rf = RandomForestClassifier(n_estimators=100, random_state=42) rf.fit(X, y) # 特徴量重要度を取得 # feature_importances_: 各特徴量の重要度（合計1） importances = pd.Series( rf.feature_importances_, index=X.columns ).sort_values(ascending=False) print(“特徴量重要度（上位10）:”) print(importances.head(10).round(4)) # 重要度の累積 print(f”\n上位10特徴量の累積重要度: {importances.head(10).sum():.2%}”)

# ランダムフォレストの特徴量重要度 from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectFromModel import pandas as pd # モデルを訓練 model = RandomForestClassifier(n_estimators=100, random_state=42) model.fit(X, y) # 特徴量重要度を確認 importances = pd.DataFrame({ ‘feature’: X.columns, ‘importance’: model.feature_importances_ }).sort_values(‘importance’, ascending=False) print(“特徴量重要度（上位10）:”) print(importances.head(10).to_string(index=False)) # 重要度の統計 print(f”\n重要度の統計:”) print(f” 平均: {model.feature_importances_.mean():.4f}”) print(f” 中央値: {np.median(model.feature_importances_):.4f}”)

# SelectFromModel: 重要度に基づいて自動選択 import numpy as np # threshold=’median’: 中央値以上を選択 selector_median = SelectFromModel(model, threshold=’median’, prefit=True) X_median = selector_median.transform(X) # threshold=’mean’: 平均以上を選択 selector_mean = SelectFromModel(model, threshold=’mean’, prefit=True) X_mean = selector_mean.transform(X) # threshold=0.01: 重要度0.01以上を選択 selector_001 = SelectFromModel(model, threshold=0.01, prefit=True) X_001 = selector_001.transform(X) print(“thresholdによる選択結果:”) print(f” 元の特徴量数: {X.shape[1]}”) print(f” threshold=’median’: {X_median.shape[1]}個”) print(f” threshold=’mean’: {X_mean.shape[1]}個”) print(f” threshold=0.01: {X_001.shape[1]}個”)

# 選択された特徴量を確認（中央値以上の場合） selected = X.columns[selector_median.get_support()] print(f”\nthreshold=’median’で選択された特徴量:”) for i, name in enumerate(selected, 1): print(f” {i}. {name}”)

# 特徴量選択 – 完成コード import numpy as np import pandas as pd from sklearn.datasets import load_breast_cancer from sklearn.feature_selection import ( SelectKBest, f_classif, # フィルタ法 RFE, # ラッパー法 SelectFromModel # 埋め込み法 ) from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline # データ cancer = load_breast_cancer() X = pd.DataFrame(cancer.data, columns=cancer.feature_names) y = cancer.target print(f”元の特徴量数: {X.shape[1]}”) # ========== 1. フィルタ法（SelectKBest） ========== selector_kbest = SelectKBest(score_func=f_classif, k=10) X_kbest = selector_kbest.fit_transform(X, y) print(f”\nSelectKBest (k=10): {X_kbest.shape[1]}個”) # ========== 2. ラッパー法（RFE） ========== model_rf = RandomForestClassifier(n_estimators=100, random_state=42) rfe = RFE(estimator=model_rf, n_features_to_select=10, step=1) X_rfe = rfe.fit_transform(X, y) print(f”RFE (n=10): {X_rfe.shape[1]}個”) # ========== 3. 埋め込み法（SelectFromModel） ========== model_rf.fit(X, y) selector_sfm = SelectFromModel(model_rf, threshold=’median’, prefit=True) X_sfm = selector_sfm.transform(X) print(f”SelectFromModel (median): {X_sfm.shape[1]}個”) # ========== 性能比較 ========== print(“\n” + “=” * 50) print(“特徴量選択手法の性能比較（5-Fold CV）”) print(“=” * 50) # 全特徴量 pipe_all = Pipeline([ (‘scaler’, StandardScaler()), (‘model’, LogisticRegression(max_iter=1000)) ]) score_all = cross_val_score(pipe_all, X, y, cv=5).mean() print(f”\n全特徴量 ({X.shape[1]}): {score_all:.4f}”) # SelectKBest pipe_kbest = Pipeline([ (‘scaler’, StandardScaler()), (‘selector’, SelectKBest(f_classif, k=10)), (‘model’, LogisticRegression(max_iter=1000)) ]) score_kbest = cross_val_score(pipe_kbest, X, y, cv=5).mean() print(f”SelectKBest (10): {score_kbest:.4f}”) # RFE pipe_rfe = Pipeline([ (‘scaler’, StandardScaler()), (‘selector’, RFE(LogisticRegression(max_iter=1000), n_features_to_select=10)), (‘model’, LogisticRegression(max_iter=1000)) ]) score_rfe = cross_val_score(pipe_rfe, X, y, cv=5).mean() print(f”RFE (10): {score_rfe:.4f}”)