# 必要なライブラリをインポート import numpy as np from sklearn.datasets import load_breast_cancer # 乳がんデータセット from sklearn.model_selection import cross_val_score, StratifiedKFold # 比較する分類アルゴリズムをインポート from sklearn.linear_model import LogisticRegression # ロジスティック回帰 from sklearn.tree import DecisionTreeClassifier # 決定木 from sklearn.ensemble import RandomForestClassifier # ランダムフォレスト from sklearn.svm import SVC # サポートベクターマシン from sklearn.neighbors import KNeighborsClassifier # K近傍法 from sklearn.preprocessing import StandardScaler # 標準化 from sklearn.pipeline import Pipeline # パイプライン # データを読み込む # 乳がんの診断データ（569サンプル、30特徴量、2クラス） cancer = load_breast_cancer() X, y = cancer.data, cancer.target print(f”データサイズ: {X.shape}”) print(f”クラス分布: {np.bincount(y)}”) # [212 357] = 悪性212, 良性357

# 比較するモデルを辞書で定義 # SVMやKNNはスケーリングが必要なのでPipelineを使用 models = { ‘ロジスティック回帰’: Pipeline([ (‘scaler’, StandardScaler()), # 標準化 (‘model’, LogisticRegression(max_iter=1000)) # モデル ]), ‘決定木’: DecisionTreeClassifier( max_depth=5, # 過学習を防ぐため深さを制限 random_state=42 # 再現性のため ), ‘ランダムフォレスト’: RandomForestClassifier( n_estimators=100, # 100本の木を使用 max_depth=10, # 各木の深さを制限 random_state=42 ), ‘SVM’: Pipeline([ (‘scaler’, StandardScaler()), # SVMはスケーリングが重要 (‘model’, SVC(kernel=’rbf’, random_state=42)) # RBFカーネル ]), ‘KNN’: Pipeline([ (‘scaler’, StandardScaler()), # KNNもスケーリングが重要 (‘model’, KNeighborsClassifier(n_neighbors=5)) # 5近傍 ]) }

# 交差検証の設定 # StratifiedKFold: クラス比率を維持した分割（分類問題で推奨） cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) # 各モデルを評価して比較 print(“=”*60) print(“分類アルゴリズムの比較（5-Fold Stratified CV）”) print(“=”*60) results = {} # 結果を保存する辞書 for name, model in models.items(): # cross_val_score: 交差検証でスコアを計算 # scoring=’accuracy’: 正解率で評価 scores = cross_val_score(model, X, y, cv=cv, scoring=’accuracy’) # 結果を保存 results[name] = { ‘mean’: scores.mean(), # 平均スコア ‘std’: scores.std() # 標準偏差 } # 結果を表示 print(f”\n{name}:”) print(f” 各Foldのスコア: {scores.round(4)}”) print(f” 平均: {scores.mean():.4f} (±{scores.std():.4f})”)

# 回帰アルゴリズムの比較 from sklearn.datasets import fetch_california_housing # 住宅価格データ from sklearn.linear_model import LinearRegression, Ridge, Lasso from sklearn.tree import DecisionTreeRegressor from sklearn.ensemble import RandomForestRegressor from sklearn.svm import SVR from sklearn.model_selection import cross_val_score # データを読み込む housing = fetch_california_housing() X_reg, y_reg = housing.data, housing.target print(f”データサイズ: {X_reg.shape}”) print(f”目的変数の範囲: {y_reg.min():.2f} 〜 {y_reg.max():.2f}”)

# 比較する回帰モデルを定義 reg_models = { ‘線形回帰’: Pipeline([ (‘scaler’, StandardScaler()), (‘model’, LinearRegression()) ]), ‘Ridge回帰’: Pipeline([ (‘scaler’, StandardScaler()), (‘model’, Ridge(alpha=1.0)) # L2正則化 ]), ‘Lasso回帰’: Pipeline([ (‘scaler’, StandardScaler()), (‘model’, Lasso(alpha=0.01)) # L1正則化 ]), ‘決定木’: DecisionTreeRegressor( max_depth=10, random_state=42 ), ‘ランダムフォレスト’: RandomForestRegressor( n_estimators=100, max_depth=10, random_state=42, n_jobs=-1 # 並列処理 ) } # 各モデルを評価 print(“=”*60) print(“回帰アルゴリズムの比較（5-Fold CV）”) print(“=”*60) for name, model in reg_models.items(): # 回帰では neg_root_mean_squared_error を使用 # （負の値なので、実際のRMSEは符号を反転） scores = cross_val_score( model, X_reg, y_reg, cv=5, scoring=’neg_root_mean_squared_error’ ) rmse = -scores.mean() # 負を反転してRMSEに std = scores.std() print(f”\n{name}:”) print(f” RMSE: {rmse:.4f} (±{std:.4f})”)

# VotingClassifierの使い方 from sklearn.ensemble import VotingClassifier # 組み合わせるモデルを定義 # それぞれ異なるタイプのモデルを選ぶと効果的 estimators = [ # (名前, モデル) のタプルで指定 (‘lr’, LogisticRegression(max_iter=1000)), # 線形モデル (‘rf’, RandomForestClassifier(n_estimators=100, random_state=42)), # 木ベース (‘svm’, SVC(probability=True, random_state=42)) # カーネルベース # probability=True: Soft Votingに必要（確率を出力するため） ] # VotingClassifierを作成 voting_clf = VotingClassifier( estimators=estimators, # 組み合わせるモデル voting=’soft’ # 予測確率を平均（推奨） )

# 個別モデルとVotingの性能を比較 # データを準備（乳がんデータ） X_scaled = StandardScaler().fit_transform(X) # スケーリング print(“=”*60) print(“個別モデル vs Voting の比較”) print(“=”*60) # 個別モデルの評価 for name, model in estimators: scores = cross_val_score(model, X_scaled, y, cv=5) print(f”{name}: {scores.mean():.4f} (±{scores.std():.4f})”) # Votingの評価 scores_voting = cross_val_score(voting_clf, X_scaled, y, cv=5) print(f”\nVoting (Soft): {scores_voting.mean():.4f} (±{scores_voting.std():.4f})”)

# StackingClassifierの使い方 from sklearn.ensemble import StackingClassifier # ベースモデル（第1層）を定義 base_estimators = [ (‘lr’, LogisticRegression(max_iter=1000)), (‘rf’, RandomForestClassifier(n_estimators=100, random_state=42)), (‘svm’, SVC(probability=True, random_state=42)) ] # メタモデル（第2層）を定義 # ベースモデルの予測を入力として、最終予測を出す # シンプルなモデル（ロジスティック回帰など）が推奨 meta_model = LogisticRegression(max_iter=1000) # StackingClassifierを作成 stacking_clf = StackingClassifier( estimators=base_estimators, # ベースモデル final_estimator=meta_model, # メタモデル cv=5, # ベースモデルの予測作成時のCV passthrough=False # 元の特徴量を使わない（Trueにすると使う） ) # 評価 scores_stacking = cross_val_score(stacking_clf, X_scaled, y, cv=5) print(“=”*60) print(“Stacking vs Voting vs 個別モデル”) print(“=”*60) print(f”最良の個別モデル（SVM）: 0.9772 (±0.0092)”) print(f”Voting (Soft): {scores_voting.mean():.4f} (±{scores_voting.std():.4f})”) print(f”Stacking: {scores_stacking.mean():.4f} (±{scores_stacking.std():.4f})”)

# 実践的なモデル選択の完成コード import numpy as np from sklearn.datasets import load_breast_cancer from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, VotingClassifier from sklearn.svm import SVC from sklearn.neighbors import KNeighborsClassifier # データ準備 cancer = load_breast_cancer() X, y = cancer.data, cancer.target # 交差検証の設定 cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) # 比較するモデル models = { ‘ロジスティック回帰’: Pipeline([(‘scaler’, StandardScaler()), (‘model’, LogisticRegression(max_iter=1000))]), ‘決定木’: DecisionTreeClassifier(max_depth=5, random_state=42), ‘ランダムフォレスト’: RandomForestClassifier(n_estimators=100, random_state=42), ‘SVM’: Pipeline([(‘scaler’, StandardScaler()), (‘model’, SVC(probability=True, random_state=42))]), ‘KNN’: Pipeline([(‘scaler’, StandardScaler()), (‘model’, KNeighborsClassifier(n_neighbors=5))]) } # 評価と結果保存 results = [] for name, model in models.items(): scores = cross_val_score(model, X, y, cv=cv, scoring=’accuracy’) results.append({‘name’: name, ‘mean’: scores.mean(), ‘std’: scores.std()}) # 結果をスコア順にソート results_sorted = sorted(results, key=lambda x: x[‘mean’], reverse=True) print(“=”*60) print(“モデル比較結果（スコア順）”) print(“=”*60) for i, r in enumerate(results_sorted, 1): print(f”{i}. {r[‘name’]}: {r[‘mean’]:.4f} (±{r[‘std’]:.4f})”)