# GridSearchCVの基本実装 from sklearn.model_selection import GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_breast_cancer import numpy as np # データを読み込む # 乳がんデータセット: 569サンプル、30特徴量、2クラス（良性/悪性） cancer = load_breast_cancer() X, y = cancer.data, cancer.target print(f”データの形状: {X.shape}”) print(f”クラス分布: {np.bincount(y)}”) # [212 357]

# 探索するパラメータの範囲を定義 # 辞書形式: {パラメータ名: [試す値のリスト]} param_grid = { ‘n_estimators’: [50, 100, 200], # 木の数: 3パターン ‘max_depth’: [3, 5, 7, None], # 木の深さ: 4パターン（Noneは制限なし） ‘min_samples_split’: [2, 5, 10] # 分割の最小サンプル: 3パターン } # 組み合わせ数を確認 # 3 × 4 × 3 = 36通りの組み合わせ n_combinations = 3 * 4 * 3 print(f”探索する組み合わせ数: {n_combinations}”) print(f”5-Fold CVなので、合計 {n_combinations * 5} 回のモデル訓練が必要”)

# GridSearchCVオブジェクトを作成 grid_search = GridSearchCV( estimator=RandomForestClassifier(random_state=42), # チューニングするモデル param_grid=param_grid, # 探索するパラメータ cv=5, # 5-Fold交差検証 scoring=’accuracy’, # 評価指標（正解率） n_jobs=-1, # 全CPUコアを使用（高速化） verbose=1 # 進捗を表示 ) # 探索を実行 # 全ての組み合わせを試し、最適なパラメータを見つける grid_search.fit(X, y)

# 結果の確認 print(“=” * 50) print(“Grid Search 結果”) print(“=” * 50) # best_params_: 最適なパラメータの組み合わせ print(f”\n最適なパラメータ: {grid_search.best_params_}”) # best_score_: 最適パラメータでの交差検証スコア print(f”最高スコア: {grid_search.best_score_:.4f}”) # best_estimator_: 最適パラメータで訓練済みのモデル best_model = grid_search.best_estimator_ print(f”\n最適なモデル: {best_model}”)

# RandomizedSearchCVの実装 from sklearn.model_selection import RandomizedSearchCV from scipy.stats import uniform, randint # 確率分布関数をインポート # 探索するパラメータの分布を定義 param_distributions = { # randint(50, 300): 50以上300未満の整数からランダムにサンプリング ‘n_estimators’: randint(50, 300), # リスト: Grid Searchと同じように離散値から選択 ‘max_depth’: [3, 5, 7, 10, None], # randint(2, 20): 2以上20未満の整数 ‘min_samples_split’: randint(2, 20), # randint(1, 10): 1以上10未満の整数 ‘min_samples_leaf’: randint(1, 10), # uniform(0.1, 0.9): 0.1から1.0の連続値 # 注意: uniform(loc, scale)は loc〜loc+scale の範囲 ‘max_features’: uniform(0.1, 0.9) } print(“パラメータ分布の例:”) print(f” n_estimators: {[randint(50, 300).rvs() for _ in range(5)]}”) print(f” max_features: {[round(uniform(0.1, 0.9).rvs(), 3) for _ in range(5)]}”)

# RandomizedSearchCVオブジェクトを作成 random_search = RandomizedSearchCV( estimator=RandomForestClassifier(random_state=42), param_distributions=param_distributions, # 確率分布を指定 n_iter=50, # 50回だけランダムにサンプリング cv=5, # 5-Fold交差検証 scoring=’accuracy’, n_jobs=-1, random_state=42, # 再現性のため乱数シードを固定 verbose=1 ) # 探索を実行 random_search.fit(X, y) print(“=” * 50) print(“Randomized Search 結果”) print(“=” * 50) print(f”\n最適なパラメータ: {random_search.best_params_}”) print(f”最高スコア: {random_search.best_score_:.4f}”)

# Optunaのインストール（Google Colabの場合） # !pip install optuna import optuna from sklearn.model_selection import cross_val_score def objective(trial): “”” Optunaの目的関数 Parameters: ———– trial : optuna.trial.Trial パラメータを提案するためのオブジェクト Returns: ——– float : 交差検証のスコア（最大化したい値） “”” # suggest_*メソッドでパラメータを提案させる params = { # suggest_int: 50〜300の整数を提案 ‘n_estimators’: trial.suggest_int(‘n_estimators’, 50, 300), # suggest_int: 3〜15の整数を提案 ‘max_depth’: trial.suggest_int(‘max_depth’, 3, 15), # suggest_int: 2〜20の整数を提案 ‘min_samples_split’: trial.suggest_int(‘min_samples_split’, 2, 20), # suggest_int: 1〜10の整数を提案 ‘min_samples_leaf’: trial.suggest_int(‘min_samples_leaf’, 1, 10), # suggest_float: 0.1〜1.0の浮動小数点数を提案 ‘max_features’: trial.suggest_float(‘max_features’, 0.1, 1.0) } # 提案されたパラメータでモデルを作成 model = RandomForestClassifier(**params, random_state=42) # 交差検証でスコアを計算 scores = cross_val_score(model, X, y, cv=5, scoring=’accuracy’) # 平均スコアを返す（Optunaはこの値を最大化/最小化する） return scores.mean()

# Studyオブジェクトを作成 # direction=’maximize’: スコアを最大化（’minimize’なら最小化） study = optuna.create_study(direction=’maximize’) # 最適化を実行 # n_trials: 試行回数 # show_progress_bar: 進捗バーを表示 study.optimize(objective, n_trials=50, show_progress_bar=True) print(“=” * 50) print(“Optuna 結果”) print(“=” * 50) # best_params: 最適なパラメータ print(f”\n最適なパラメータ: {study.best_params}”) # best_value: 最高スコア print(f”最高スコア: {study.best_value:.4f}”)

# 最適化の履歴を可視化 # 試行回数ごとのスコアの推移がわかる fig = optuna.visualization.plot_optimization_history(study) fig.show() # パラメータの重要度を可視化 # どのパラメータがスコアに最も影響するかがわかる fig = optuna.visualization.plot_param_importances(study) fig.show() # パラメータ間の関係を可視化 fig = optuna.visualization.plot_contour(study, params=[‘n_estimators’, ‘max_depth’]) fig.show()

# 段階的にチューニング（2段階アプローチ） # Step 1: 粗い探索（広い範囲で少ない候補） param_grid_coarse = { ‘n_estimators’: [50, 100, 200], ‘max_depth’: [3, 7, 15, None] } grid_coarse = GridSearchCV( RandomForestClassifier(random_state=42), param_grid_coarse, cv=3, n_jobs=-1 ) grid_coarse.fit(X, y) print(f”Step 1 – 最適: {grid_coarse.best_params_}”) # Step 2: 細かい探索（最適値周辺で多くの候補） best_n = grid_coarse.best_params_[‘n_estimators’] best_depth = grid_coarse.best_params_[‘max_depth’] param_grid_fine = { ‘n_estimators’: [best_n – 50, best_n, best_n + 50], ‘max_depth’: [best_depth – 2, best_depth, best_depth + 2] if best_depth else [10, 15, None], ‘min_samples_split’: [2, 5, 10] } grid_fine = GridSearchCV( RandomForestClassifier(random_state=42), param_grid_fine, cv=5, n_jobs=-1 ) grid_fine.fit(X, y) print(f”Step 2 – 最適: {grid_fine.best_params_}”) print(f”最高スコア: {grid_fine.best_score_:.4f}”)

# ハイパーパラメータチューニング – 完成コード import numpy as np from sklearn.datasets import load_breast_cancer from sklearn.model_selection import GridSearchCV, RandomizedSearchCV, cross_val_score from sklearn.ensemble import RandomForestClassifier from scipy.stats import randint, uniform import optuna # データの準備 cancer = load_breast_cancer() X, y = cancer.data, cancer.target # ========== 1. Grid Search ========== param_grid = { ‘n_estimators’: [50, 100, 200], ‘max_depth’: [3, 5, 7, None], ‘min_samples_split’: [2, 5, 10] } grid_search = GridSearchCV( RandomForestClassifier(random_state=42), param_grid, cv=5, scoring=’accuracy’, n_jobs=-1 ) grid_search.fit(X, y) print(f”Grid Search: {grid_search.best_score_:.4f}”) # ========== 2. Randomized Search ========== param_dist = { ‘n_estimators’: randint(50, 300), ‘max_depth’: [3, 5, 7, 10, None], ‘min_samples_split’: randint(2, 20), ‘max_features’: uniform(0.1, 0.9) } random_search = RandomizedSearchCV( RandomForestClassifier(random_state=42), param_dist, n_iter=50, cv=5, scoring=’accuracy’, n_jobs=-1, random_state=42 ) random_search.fit(X, y) print(f”Random Search: {random_search.best_score_:.4f}”) # ========== 3. Optuna ========== def objective(trial): params = { ‘n_estimators’: trial.suggest_int(‘n_estimators’, 50, 300), ‘max_depth’: trial.suggest_int(‘max_depth’, 3, 15), ‘min_samples_split’: trial.suggest_int(‘min_samples_split’, 2, 20), ‘max_features’: trial.suggest_float(‘max_features’, 0.1, 1.0) } model = RandomForestClassifier(**params, random_state=42) return cross_val_score(model, X, y, cv=5).mean() study = optuna.create_study(direction=’maximize’) study.optimize(objective, n_trials=50, show_progress_bar=True) print(f”Optuna: {study.best_value:.4f}”)