【具体例】ミニバッチサイズ = 4の場合 入力データ: x₁=2, x₂=4, x₃=6, x₄=8 ■ ステップ1: 平均を計算 μ_B = (2 + 4 + 6 + 8) / 4 = 20 / 4 = 5 ■ ステップ2: 分散を計算 σ²_B = [(2-5)² + (4-5)² + (6-5)² + (8-5)²] / 4 = [9 + 1 + 1 + 9] / 4 = 20 / 4 = 5 ■ ステップ3: 正規化（ε = 0.00001） x̂₁ = (2 – 5) / √(5 + 0.00001) ≈ -3 / 2.236 ≈ -1.34 x̂₂ = (4 – 5) / √5 ≈ -1 / 2.236 ≈ -0.45 x̂₃ = (6 – 5) / √5 ≈ 1 / 2.236 ≈ 0.45 x̂₄ = (8 – 5) / √5 ≈ 3 / 2.236 ≈ 1.34 → 正規化後: 平均≈0、標準偏差≈1 になった！ ■ ステップ4: スケールとシフト（γ=1.5, β=0.5の場合） y₁ = 1.5 × (-1.34) + 0.5 ≈ -1.51 y₂ = 1.5 × (-0.45) + 0.5 ≈ -0.18 y₃ = 1.5 × 0.45 + 0.5 ≈ 1.18 y₄ = 1.5 × 1.34 + 0.5 ≈ 2.51 → γとβで最終的な分布を調整

【なぜγとβが必要か？】 ■ 問題：sigmoid関数の場合 正規化後の値は約-3〜3の範囲に集中 ↓ sigmoid(-3) ≈ 0.05 sigmoid(-1) ≈ 0.27 sigmoid(0) ≈ 0.50 sigmoid(1) ≈ 0.73 sigmoid(3) ≈ 0.95 ↓ この範囲はsigmoidの「ほぼ線形な部分」 ↓ 非線形性が失われて、ネットワークの表現力が下がる！ ■ 解決：γとβを学習させる γ = 2, β = 3 に学習すると… y = 2 × x̂ + 3 ↓ 値の範囲が広がり、非線形な部分も使えるようになる ■ さらに重要なポイント γ = σ_B（元の標準偏差） β = μ_B（元の平均） に学習すれば… ↓ 正規化を「完全に元に戻す」ことも可能！ ↓ ネットワークが自分で「正規化が必要かどうか」を判断できる

from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, BatchNormalization, Activation # モデル構築 model = Sequential([ Dense(128, input_shape=(784,)), # 線形変換 BatchNormalization(), # 正規化 Activation(‘relu’), # 活性化 Dense(64), # 線形変換 BatchNormalization(), # 正規化 Activation(‘relu’), # 活性化 Dense(10, activation=’softmax’) # 出力層（BNは追加しない） ]) model.compile( optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’] )

from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, BatchNormalization, Activation, Flatten from tensorflow.keras.datasets import mnist from tensorflow.keras.utils import to_categorical # データ読み込み (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train = X_train / 255.0 X_test = X_test / 255.0 y_train = to_categorical(y_train) y_test = to_categorical(y_test) # モデル構築（バッチ正規化あり） model = Sequential([ Flatten(input_shape=(28, 28)), Dense(256), BatchNormalization(), Activation(‘relu’), Dense(128), BatchNormalization(), Activation(‘relu’), Dense(64), BatchNormalization(), Activation(‘relu’), Dense(10, activation=’softmax’) # 出力層にはBNを追加しない ]) model.compile( optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’] ) # 学習 history = model.fit( X_train, y_train, validation_data=(X_test, y_test), epochs=10, batch_size=128 )

import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten, BatchNormalization, Activation from tensorflow.keras.datasets import mnist from tensorflow.keras.utils import to_categorical import matplotlib.pyplot as plt # データ読み込み (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train = X_train / 255.0 X_test = X_test / 255.0 y_train = to_categorical(y_train) y_test = to_categorical(y_test) # モデル1：バッチ正規化なし model_without_bn = Sequential([ Flatten(input_shape=(28, 28)), Dense(256, activation=’relu’), Dense(128, activation=’relu’), Dense(64, activation=’relu’), Dense(10, activation=’softmax’) ]) model_without_bn.compile(optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’]) # モデル2：バッチ正規化あり model_with_bn = Sequential([ Flatten(input_shape=(28, 28)), Dense(256), BatchNormalization(), Activation(‘relu’), Dense(128), BatchNormalization(), Activation(‘relu’), Dense(64), BatchNormalization(), Activation(‘relu’), Dense(10, activation=’softmax’) ]) model_with_bn.compile(optimizer=’adam’, loss=’categorical_crossentropy’, metrics=[‘accuracy’]) # 学習 print(“=== バッチ正規化なしで学習 ===”) history_without = model_without_bn.fit(X_train, y_train, validation_data=(X_test, y_test), epochs=20, batch_size=128, verbose=0) print(“=== バッチ正規化ありで学習 ===”) history_with = model_with_bn.fit(X_train, y_train, validation_data=(X_test, y_test), epochs=20, batch_size=128, verbose=0) # 結果を表示 print(f”\nバッチ正規化なし – テスト精度: {history_without.history[‘val_accuracy’][-1]:.4f}”) print(f”バッチ正規化あり – テスト精度: {history_with.history[‘val_accuracy’][-1]:.4f}”)

=== バッチ正規化なしで学習 ===
=== バッチ正規化ありで学習 ===

バッチ正規化なし - テスト精度: 0.9754
バッチ正規化あり - テスト精度: 0.9812

→ バッチ正規化により、精度が約0.6%向上！
→ 損失の減少も速い（学習が高速化）

from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, BatchNormalization, Activation model = Sequential([ Dense(256, input_shape=(784,)), BatchNormalization(), Activation(‘relu’), Dense(128), BatchNormalization(), Activation(‘relu’), Dense(10, activation=’softmax’) # 出力層にはBNなし ])

from tensorflow.keras.layers import Dropout model = Sequential([ Dense(256, input_shape=(784,)), BatchNormalization(), Activation(‘relu’), Dropout(0.3), # BN → Dropout の順 Dense(128), BatchNormalization(), Activation(‘relu’), Dropout(0.3), Dense(10, activation=’softmax’) ])

from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten model = Sequential([ Conv2D(32, (3, 3), input_shape=(28, 28, 1)), BatchNormalization(), Activation(‘relu’), MaxPooling2D((2, 2)), Conv2D(64, (3, 3)), BatchNormalization(), Activation(‘relu’), MaxPooling2D((2, 2)), Flatten(), Dense(128), BatchNormalization(), Activation(‘relu’), Dense(10, activation=’softmax’) ])