【スケーリングの問題】 訓練時：ドロップアウト率 0.5（50%のニューロンを無効化） → 残りの50%のニューロンだけで出力を計算 推論時：すべてのニューロンを使用 → 出力が訓練時の約2倍になってしまう！ 【解決策：Inverted Dropout（Kerasのデフォルト）】 訓練時に、残っているニューロンの出力を (1 / (1 – dropout_rate)) 倍する 例：dropout_rate = 0.5 の場合 訓練時の出力 = 元の出力 × (1 / 0.5) = 元の出力 × 2 これにより、推論時に特別な処理が不要になる → Kerasでは自動的に処理されるので、意識する必要なし！

from tensorflow.keras.layers import Dropout # Dropoutレイヤーの追加 Dropout(0.5) # 50%のニューロンをドロップ Dropout(0.3) # 30%のニューロンをドロップ Dropout(0.2) # 20%のニューロンをドロップ

from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.datasets import mnist from tensorflow.keras.utils import to_categorical # データ準備 (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train = X_train / 255.0 X_test = X_test / 255.0 y_train = to_categorical(y_train) y_test = to_categorical(y_test) # ドロップアウトなしのモデル model_without_dropout = Sequential([ Flatten(input_shape=(28, 28)), Dense(512, activation=’relu’), Dense(256, activation=’relu’), Dense(128, activation=’relu’), Dense(10, activation=’softmax’) ]) # ドロップアウトありのモデル model_with_dropout = Sequential([ Flatten(input_shape=(28, 28)), Dense(512, activation=’relu’), Dropout(0.5), # ★ 50%ドロップアウト Dense(256, activation=’relu’), Dropout(0.5), # ★ 50%ドロップアウト Dense(128, activation=’relu’), Dropout(0.3), # ★ 30%ドロップアウト Dense(10, activation=’softmax’) # 出力層にはDropoutを入れない ])

# 両モデルをコンパイル model_without_dropout.compile( optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’] ) model_with_dropout.compile( optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’] ) # 訓練（ドロップアウトなし） print(“=== ドロップアウトなし ===”) history_without = model_without_dropout.fit( X_train, y_train, epochs=20, batch_size=128, validation_split=0.2, verbose=0 ) # 訓練（ドロップアウトあり） print(“=== ドロップアウトあり ===”) history_with = model_with_dropout.fit( X_train, y_train, epochs=20, batch_size=128, validation_split=0.2, verbose=0 ) # 結果比較 print(“\n=== 結果比較 ===”) print(“ドロップアウトなし:”) print(f” 訓練精度: {history_without.history[‘accuracy’][-1]:.4f}”) print(f” 検証精度: {history_without.history[‘val_accuracy’][-1]:.4f}”) print(“\nドロップアウトあり:”) print(f” 訓練精度: {history_with.history[‘accuracy’][-1]:.4f}”) print(f” 検証精度: {history_with.history[‘val_accuracy’][-1]:.4f}”)

=== 結果比較 ===
ドロップアウトなし:
  訓練精度: 0.9998  ← 訓練データにほぼ完璧に適合
  検証精度: 0.9756  ← 検証精度との差が大きい（過学習の兆候）

ドロップアウトあり:
  訓練精度: 0.9823  ← 訓練精度は少し低い
  検証精度: 0.9801  ← 検証精度との差が小さい（汎化性能が高い）

→ ドロップアウトにより、過学習が抑制されている！

# 層ごとに異なるドロップアウト率 model = Sequential([ Flatten(input_shape=(28, 28)), Dense(512, activation=’relu’), Dropout(0.5), # 最初の隠れ層後：高め Dense(256, activation=’relu’), Dropout(0.4), # 2番目の隠れ層後：やや高め Dense(128, activation=’relu’), Dropout(0.3), # 3番目の隠れ層後：低め Dense(10, activation=’softmax’) ]) # 層が深くなるにつれてドロップアウト率を下げるパターン

from tensorflow.keras.layers import Dense, Dropout, BatchNormalization, Flatten # バッチ正規化 + ドロップアウトの組み合わせ model = Sequential([ Flatten(input_shape=(28, 28)), # パターン1: Dense → BN → Activation → Dropout Dense(512), BatchNormalization(), Activation(‘relu’), Dropout(0.5), # パターン2: Dense(activation) → BN → Dropout（シンプル版） Dense(256, activation=’relu’), BatchNormalization(), Dropout(0.4), Dense(128, activation=’relu’), BatchNormalization(), Dropout(0.3), Dense(10, activation=’softmax’) ])