# ライブラリのインポート import numpy as np import matplotlib.pyplot as plt from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import cross_val_score # 再現性のために乱数シードを固定 np.random.seed(42) # サンプルデータを作成（ノイズを含むサイン波） X = np.linspace(0, 1, 30).reshape(-1, 1) # 0〜1の30点、2次元配列に変換 y_true = np.sin(2 * np.pi * X).ravel() # 真の関数（サイン波） y = y_true + np.random.randn(30) * 0.3 # ノイズを追加 print(“データの形状:”) print(f” X: {X.shape}”) # (30, 1) print(f” y: {y.shape}”) # (30,)

# 3つの異なる複雑さのモデルを作成する関数 def create_polynomial_model(degree): “”” 多項式回帰モデルを作成する関数 Parameters: degree: 多項式の次数（大きいほど複雑なモデル） Returns: Pipeline: 特徴量変換とモデルを組み合わせたパイプライン “”” return Pipeline([ # PolynomialFeatures: Xをx, x², x³…に変換 (‘poly’, PolynomialFeatures(degree=degree, include_bias=False)), # LinearRegression: 変換後の特徴量で線形回帰 (‘reg’, LinearRegression()) ]) # 3つのモデル（次数1, 4, 15）を作成 models = { ‘次数1（単純すぎる）’: create_polynomial_model(1), ‘次数4（ちょうど良い）’: create_polynomial_model(4), ‘次数15（複雑すぎる）’: create_polynomial_model(15) } # 各モデルを訓練して評価 print(“=”*60) print(“モデルの複雑さと性能の関係”) print(“=”*60) for name, model in models.items(): # モデルを訓練 model.fit(X, y) # 訓練データでのスコア（R²） train_score = model.score(X, y) # 交差検証でのスコア cv_scores = cross_val_score(model, X, y, cv=5) print(f”\n{name}:”) print(f” 訓練スコア: {train_score:.4f}”) print(f” CVスコア: {cv_scores.mean():.4f} (±{cv_scores.std():.4f})”) print(f” ギャップ: {train_score – cv_scores.mean():.4f}”)

# 学習曲線を描画する from sklearn.model_selection import learning_curve from sklearn.datasets import load_digits from sklearn.svm import SVC # データセットを読み込み（手書き数字） digits = load_digits() X_digits, y_digits = digits.data, digits.target # モデルを作成 model = SVC(gamma=’scale’, random_state=42) # learning_curveを実行 # train_sizes: 訓練データの割合を10%から100%まで10段階で変化 train_sizes, train_scores, test_scores = learning_curve( estimator=model, # 評価するモデル X=X_digits, # 特徴量 y=y_digits, # ラベル train_sizes=np.linspace(0.1, 1.0, 10),# 訓練データの割合（10%, 20%, …100%） cv=5, # 5-Fold CV scoring=’accuracy’, # 正解率で評価 n_jobs=-1 # 全CPUコアを使用 ) # 結果の形状を確認 print(“learning_curveの戻り値:”) print(f” train_sizes: {train_sizes}”) print(f” train_scores.shape: {train_scores.shape}”) # (10, 5) = 10段階 × 5フォールド print(f” test_scores.shape: {test_scores.shape}”)

# 学習曲線をプロット # 平均と標準偏差を計算 train_mean = train_scores.mean(axis=1) # 各サイズでの平均（5フォールドの平均） train_std = train_scores.std(axis=1) # 各サイズでの標準偏差 test_mean = test_scores.mean(axis=1) test_std = test_scores.std(axis=1) # グラフを描画 plt.figure(figsize=(10, 6)) # 訓練スコアをプロット plt.plot(train_sizes, train_mean, ‘o-‘, color=’blue’, label=’訓練スコア’) plt.fill_between(train_sizes, train_mean – train_std, train_mean + train_std, alpha=0.1, color=’blue’) # テストスコア（CVスコア）をプロット plt.plot(train_sizes, test_mean, ‘o-‘, color=’orange’, label=’CVスコア’) plt.fill_between(train_sizes, test_mean – test_std, test_mean + test_std, alpha=0.1, color=’orange’) plt.xlabel(‘訓練データ数’) plt.ylabel(‘スコア（正解率）’) plt.title(‘学習曲線（SVM）’) plt.legend(loc=’lower right’) plt.grid(True, alpha=0.3) plt.ylim(0.7, 1.05) plt.show()

# 検証曲線を描画する from sklearn.model_selection import validation_curve from sklearn.ensemble import RandomForestClassifier # モデルを作成 model = RandomForestClassifier(n_estimators=50, random_state=42) # 変化させるパラメータの範囲 param_range = [1, 2, 3, 5, 10, 15, 20, 30] # validation_curveを実行 # max_depthパラメータを変化させて、訓練/テストスコアを計算 train_scores, test_scores = validation_curve( estimator=model, # モデル X=X_digits, # 特徴量 y=y_digits, # ラベル param_name=’max_depth’, # 変化させるパラメータ param_range=param_range, # パラメータの値（1, 2, 3, …30） cv=5, # 5-Fold CV scoring=’accuracy’, # 正解率で評価 n_jobs=-1 # 全CPUコアを使用 ) # 平均と標準偏差を計算 train_mean = train_scores.mean(axis=1) train_std = train_scores.std(axis=1) test_mean = test_scores.mean(axis=1) test_std = test_scores.std(axis=1) # 最適なパラメータを表示 best_idx = test_mean.argmax() print(f”最適な max_depth: {param_range[best_idx]}”) print(f”その時のCVスコア: {test_mean[best_idx]:.4f}”)

# 検証曲線をプロット plt.figure(figsize=(10, 6)) # 訓練スコア plt.plot(param_range, train_mean, ‘o-‘, color=’blue’, label=’訓練スコア’) plt.fill_between(param_range, train_mean – train_std, train_mean + train_std, alpha=0.1, color=’blue’) # テストスコア plt.plot(param_range, test_mean, ‘o-‘, color=’orange’, label=’CVスコア’) plt.fill_between(param_range, test_mean – test_std, test_mean + test_std, alpha=0.1, color=’orange’) # 最適点に縦線 plt.axvline(x=param_range[best_idx], color=’red’, linestyle=’–‘, label=f’最適値: {param_range[best_idx]}’) plt.xlabel(‘max_depth’) plt.ylabel(‘スコア（正解率）’) plt.title(‘検証曲線（Random Forest）’) plt.legend(loc=’lower right’) plt.grid(True, alpha=0.3) plt.show()

# 正則化の効果を確認 from sklearn.linear_model import Ridge from sklearn.preprocessing import PolynomialFeatures, StandardScaler from sklearn.pipeline import Pipeline from sklearn.model_selection import cross_val_score # サンプルデータ（先ほどのサイン波） np.random.seed(42) X = np.linspace(0, 1, 30).reshape(-1, 1) y = np.sin(2 * np.pi * X).ravel() + np.random.randn(30) * 0.3 # 正則化の強さを変えて比較 alphas = [0, 0.001, 0.01, 0.1, 1.0, 10.0] print(“正則化パラメータ(alpha)の効果:”) print(“-” * 50) for alpha in alphas: model = Pipeline([ (‘poly’, PolynomialFeatures(degree=15)), # 複雑なモデル (‘scaler’, StandardScaler()), # スケーリング (‘ridge’, Ridge(alpha=alpha)) # 正則化付き線形回帰 ]) # 交差検証 cv_scores = cross_val_score(model, X, y, cv=5) model.fit(X, y) train_score = model.score(X, y) print(f”alpha={alpha:6.3f}: 訓練={train_score:.4f}, CV={cv_scores.mean():.4f}”)