# ============================================ # A/Bテストのサンプルサイズ計算 # ============================================ # なぜサンプルサイズが重要か？ # → 少なすぎる: 偶然の結果に左右される（信頼できない） # → 多すぎる: 時間とコストの無駄 # → 適切なサイズ: 統計的に有意な差を検出できる最小限 from statsmodels.stats.power import TTestIndPower, NormalIndPower from statsmodels.stats.proportion import proportion_effectsize import numpy as np # ============================================ # パラメータ設定 # ============================================ baseline_rate = 0.05 # 現在のコンバージョン率: 5% target_rate = 0.06 # 目標のコンバージョン率: 6%（相対20%改善） alpha = 0.05 # 有意水準（偽陽性の許容率） power = 0.80 # 検出力（真の効果を検出できる確率） # ============================================ # 効果量（Effect Size）の計算 # ============================================ # proportion_effectsize(): コンバージョン率の差を標準化 # → Cohen’s h という指標に変換 # → これにより、異なるテストを比較可能に # # 効果量の目安（Cohen’s h）： # 0.2: 小さい効果 # 0.5: 中程度の効果 # 0.8: 大きい効果 effect_size = proportion_effectsize(baseline_rate, target_rate) print(f”【設定値】”) print(f”現在のCVR: {baseline_rate:.1%}”) print(f”目標のCVR: {target_rate:.1%}”) print(f”改善幅: {(target_rate – baseline_rate) / baseline_rate:.1%}”) print(f”効果量（Cohen’s h）: {effect_size:.4f}”) # ============================================ # サンプルサイズの計算 # ============================================ # NormalIndPower(): 2群の比率比較用の検出力分析 # # solve_power(): 必要なサンプルサイズを計算 # effect_size: 効果量（検出したい差の大きさ） # alpha: 有意水準（通常0.05） # power: 検出力（通常0.80） # ratio: 2群のサンプル比率（1.0 = 1:1） # alternative: 検定の方向 # ‘two-sided’: 両側検定（改善か悪化か分からない場合） # ‘larger’: 片側検定（改善のみを検出したい場合） analysis = NormalIndPower() sample_size = analysis.solve_power( effect_size=effect_size, alpha=alpha, power=power, ratio=1.0, # A群とB群の比率（1:1） alternative=’two-sided’ ) # np.ceil(): 小数を切り上げ（安全側に） print(f”\n【必要なサンプルサイズ】”) print(f”各群: {int(np.ceil(sample_size))}人”) print(f”合計: {int(np.ceil(sample_size)) * 2}人”) # ============================================ # テスト期間の計算 # ============================================ # サンプルサイズから、必要なテスト期間を逆算 daily_traffic = 1000 # 1日のユーザー数 test_duration = (sample_size * 2) / daily_traffic print(f”\n【テスト期間の目安】”) print(f”1日のトラフィック: {daily_traffic}人”) print(f”必要な期間: 約{int(np.ceil(test_duration))}日”) print(“\n【ポイント】”) print(“・検出したい差が小さいほど、多くのサンプルが必要”) print(“・ベースラインが低いほど、多くのサンプルが必要”) print(“・検出力80%は「10回中8回は検出できる」という意味”)

# A/Bテスト結果の分析（比率の比較） import numpy as np import pandas as pd from scipy import stats # テスト結果 results = { ‘グループ’: [‘A（コントロール）’, ‘B（トリートメント）’], ‘ユーザー数’: [5000, 5000], ‘コンバージョン数’: [250, 310] } df = pd.DataFrame(results) # コンバージョン率の計算 df[‘CVR’] = df[‘コンバージョン数’] / df[‘ユーザー数’] print(“【テスト結果】”) print(df.to_string(index=False)) # 改善幅 cvr_a = df.loc[0, ‘CVR’] cvr_b = df.loc[1, ‘CVR’] lift = (cvr_b – cvr_a) / cvr_a print(f”\n【改善幅】”) print(f”A群のCVR: {cvr_a:.2%}”) print(f”B群のCVR: {cvr_b:.2%}”) print(f”改善幅: {lift:.1%}（相対）”) print(f”改善幅: {(cvr_b – cvr_a):.2%}（絶対）”) # カイ二乗検定 # クロス集計表を作成 contingency_table = [ [df.loc[0, ‘コンバージョン数’], df.loc[0, ‘ユーザー数’] – df.loc[0, ‘コンバージョン数’]], [df.loc[1, ‘コンバージョン数’], df.loc[1, ‘ユーザー数’] – df.loc[1, ‘コンバージョン数’]] ] chi2, p_value, dof, expected = stats.chi2_contingency(contingency_table) print(f”\n【統計的検定】”) print(f”カイ二乗統計量: {chi2:.4f}”) print(f”p値: {p_value:.4f}”) # 判定 alpha = 0.05 print(f”\n【判定】（α={alpha}）”) if p_value < alpha: print(f"p値({p_value:.4f}) < α({alpha})") print("→ 統計的に有意な差あり！") print("→ B案の導入を推奨") else: print(f"p値({p_value:.4f}) ≥ α({alpha})") print("→ 統計的に有意な差なし") print("→ 現行のA案を継続")

# 信頼区間の計算 import numpy as np from scipy import stats def conversion_rate_ci(conversions, total, confidence=0.95): “””コンバージョン率の信頼区間を計算””” rate = conversions / total z = stats.norm.ppf((1 + confidence) / 2) se = np.sqrt(rate * (1 – rate) / total) margin = z * se return rate, rate – margin, rate + margin # A群の信頼区間 rate_a, ci_a_low, ci_a_high = conversion_rate_ci(250, 5000) print(“【A群（コントロール）】”) print(f”CVR: {rate_a:.2%}”) print(f”95%信頼区間: [{ci_a_low:.2%}, {ci_a_high:.2%}]”) # B群の信頼区間 rate_b, ci_b_low, ci_b_high = conversion_rate_ci(310, 5000) print(“\n【B群（トリートメント）】”) print(f”CVR: {rate_b:.2%}”) print(f”95%信頼区間: [{ci_b_low:.2%}, {ci_b_high:.2%}]”) # 差の信頼区間 diff = rate_b – rate_a se_diff = np.sqrt( rate_a * (1 – rate_a) / 5000 + rate_b * (1 – rate_b) / 5000 ) z = stats.norm.ppf(0.975) diff_ci_low = diff – z * se_diff diff_ci_high = diff + z * se_diff print(“\n【差の信頼区間】”) print(f”差: {diff:.2%}”) print(f”95%信頼区間: [{diff_ci_low:.2%}, {diff_ci_high:.2%}]”) if diff_ci_low > 0: print(“→ 信頼区間が0を含まない → B案は確実に効果あり”) else: print(“→ 信頼区間が0を含む → 効果は不確実”)

# 完全なA/Bテスト分析関数 import numpy as np from scipy import stats from statsmodels.stats.proportion import proportion_effectsize from statsmodels.stats.power import NormalIndPower def ab_test_analysis( conversions_a, total_a, conversions_b, total_b, alpha=0.05, test_name=”A/Bテスト” ): “”” A/Bテストの完全な分析を行う Parameters: ———– conversions_a : int – A群のコンバージョン数 total_a : int – A群のユーザー数 conversions_b : int – B群のコンバージョン数 total_b : int – B群のユーザー数 alpha : float – 有意水準（デフォルト0.05） test_name : str – テスト名 “”” print(f”{‘=’*50}”) print(f” {test_name} 分析レポート”) print(f”{‘=’*50}”) # コンバージョン率 rate_a = conversions_a / total_a rate_b = conversions_b / total_b print(f”\n【1. 基本統計】”) print(f”A群（コントロール）:”) print(f” ユーザー数: {total_a:,}人”) print(f” CV数: {conversions_a:,}人”) print(f” CVR: {rate_a:.2%}”) print(f”\nB群（トリートメント）:”) print(f” ユーザー数: {total_b:,}人”) print(f” CV数: {conversions_b:,}人”) print(f” CVR: {rate_b:.2%}”) # 改善幅 absolute_lift = rate_b – rate_a relative_lift = absolute_lift / rate_a if rate_a > 0 else 0 print(f”\n【2. 改善幅】”) print(f”絶対改善: {absolute_lift:+.2%}”) print(f”相対改善: {relative_lift:+.1%}”) # 信頼区間 z = stats.norm.ppf(1 – alpha/2) se_diff = np.sqrt( rate_a * (1 – rate_a) / total_a + rate_b * (1 – rate_b) / total_b ) ci_low = absolute_lift – z * se_diff ci_high = absolute_lift + z * se_diff print(f”\n【3. 差の{int((1-alpha)*100)}%信頼区間】”) print(f”[{ci_low:+.2%}, {ci_high:+.2%}]”) # カイ二乗検定 contingency_table = [ [conversions_a, total_a – conversions_a], [conversions_b, total_b – conversions_b] ] chi2, p_value, dof, expected = stats.chi2_contingency(contingency_table) print(f”\n【4. 統計的検定】”) print(f”χ² = {chi2:.4f}”) print(f”p値 = {p_value:.4f}”) # 判定 print(f”\n【5. 判定】（α={alpha}）”) if p_value < alpha: print(f"✅ 統計的に有意（p={p_value:.4f} < α={alpha}）") if rate_b > rate_a: print(“→ B案の方が優れている”) print(“→ B案の本番導入を推奨”) else: print(“→ A案の方が優れている”) print(“→ 現行のA案を継続”) else: print(f”❌ 統計的に有意でない（p={p_value:.4f} ≥ α={alpha}）”) print(“→ 明確な差は確認できない”) print(“→ テスト継続 or 現行A案を継続”) # ビジネスインパクト print(f”\n【6. ビジネスインパクト（参考）】”) monthly_traffic = total_a + total_b # 仮に1ヶ月分とする additional_cv = int(monthly_traffic * absolute_lift) print(f”月間追加CV（予測）: {additional_cv:+,}件”) return { ‘rate_a’: rate_a, ‘rate_b’: rate_b, ‘absolute_lift’: absolute_lift, ‘relative_lift’: relative_lift, ‘ci’: (ci_low, ci_high), ‘p_value’: p_value, ‘significant’: p_value < alpha } # 実行例 result = ab_test_analysis( conversions_a=250, total_a=5000, conversions_b=310, total_b=5000, test_name="購入ボタン色変更テスト" )