# ============================================ # サンプルサイズによるp値の変化を確認 # ============================================ # 重要な教訓: # サンプルサイズが大きいと、 # どんなに小さな差でも「統計的に有意」になる！ # → p値だけで判断するのは危険 import numpy as np from scipy import stats def test_different_sample_sizes(true_diff=0.005): “”” 同じ効果量でサンプルサイズを変えた時のp値を比較 Parameters: ———– true_diff : float – 真の差（CVRの差） 0.005 = 0.5%ポイント（非常に小さい差） “”” print(“【サンプルサイズとp値の関係】”) print(f”真の差: {true_diff:.1%}ポイント（非常に小さい差）”) print(“-” * 50) # 異なるサンプルサイズでテスト sample_sizes = [100, 1000, 10000, 100000] for n in sample_sizes: # シミュレーションデータ作成 np.random.seed(42) # np.random.binomial(1, p, n): 成功確率pでn回試行 # A: CVR 10%、B: CVR 10.5%（0.5%ポイントの差） A_data = np.random.binomial(1, 0.10, n) B_data = np.random.binomial(1, 0.10 + true_diff, n) # t検定でp値を計算 t_stat, p_value = stats.ttest_ind(B_data, A_data) # 有意性の判定（α=0.05） significant = “有意” if p_value < 0.05 else "有意でない" print(f"n={n:>6}: p={p_value:.4f} → {significant}”) print(“-” * 50) print(“→ サンプルが大きいと、小さな差でも有意になる！”) print(“→ 「有意 ≠ 重要」を忘れない！”) # 実行 test_different_sample_sizes()

# ============================================ # 効果サイズの計算 # ============================================ # 効果サイズ（Effect Size）とは？ # → 「どのくらい差があるか」を示す指標 # → p値とは別に、実務的な重要性を判断するために使う # → p値が有意でも、効果サイズが小さければビジネス価値は低い import numpy as np from scipy import stats def calculate_effect_sizes(A_data, B_data): “”” 複数の効果サイズ指標を計算 Parameters: ———– A_data : array – グループAのデータ（0/1の配列） B_data : array – グループBのデータ（0/1の配列） Returns: ——– dict – 各種効果サイズ指標 “”” # ============================================ # np.mean(): 平均値を計算 # ============================================ # 0/1データの平均 = 1の割合 = CVR（コンバージョン率） A_mean = np.mean(A_data) B_mean = np.mean(B_data) # ============================================ # 1. 絶対的な差（Absolute Difference） # ============================================ # 単純な引き算 # 例：10% → 12% なら「2%ポイント」の改善 # ビジネスで最も直感的に理解しやすい absolute_diff = B_mean – A_mean # ============================================ # 2. 相対的な差（リフト / Relative Lift） # ============================================ # ベースラインに対する改善率（%） # 計算：(B – A) / A × 100 # 例：10% → 12% なら「20%」のリフト # ベースラインが異なる場合の比較に便利 relative_diff = (B_mean – A_mean) / A_mean * 100 if A_mean > 0 else 0 # ============================================ # 3. Cohen’s d（標準化効果量） # ============================================ # 差を標準偏差で割って標準化 # 異なるスケールの効果を比較できる # # np.std(ddof=1): 標本標準偏差 # ddof=1: 自由度の調整（n-1で割る） # → 母集団の標準偏差を推定するため # # pooled_std: プールされた標準偏差 # → 2群の標準偏差の平均的な値 pooled_std = np.sqrt((np.std(A_data, ddof=1)**2 + np.std(B_data, ddof=1)**2) / 2) cohens_d = absolute_diff / pooled_std if pooled_std > 0 else 0 # ============================================ # 4. オッズ比（Odds Ratio） # ============================================ # オッズ = 成功確率 / 失敗確率 # オッズ比 = BのオッズA / Aのオッズ # 例：オッズ比1.5 → Bは Aより1.5倍成功しやすい # # ロジスティック回帰でよく使われる指標 A_odds = A_mean / (1 – A_mean) if A_mean < 1 else float('inf') B_odds = B_mean / (1 - B_mean) if B_mean < 1 else float('inf') odds_ratio = B_odds / A_odds if A_odds > 0 else float(‘inf’) return { ‘A_CVR’: A_mean, ‘B_CVR’: B_mean, ‘絶対差’: absolute_diff, ‘相対差’: relative_diff, ‘Cohens_d’: cohens_d, ‘オッズ比’: odds_ratio } def interpret_cohens_d(d): “”” Cohen’s dの解釈 一般的な目安（Cohen, 1988）: |d| < 0.2: 非常に小さい 0.2 ≤ |d| < 0.5: 小さい〜中程度 0.5 ≤ |d| < 0.8: 中程度〜大きい |d| ≥ 0.8: 非常に大きい """ d_abs = abs(d) if d_abs < 0.2: return "非常に小さい" elif d_abs < 0.5: return "小さい〜中程度" elif d_abs < 0.8: return "中程度〜大きい" else: return "非常に大きい" # ============================================ # サンプルデータ作成 # ============================================ np.random.seed(42) # np.random.binomial(n, p, size): 二項分布からサンプリング # n=1: 1回の試行（成功/失敗） # p=0.10: 成功確率10%（CVR 10%を想定） # size=1000: 1000人分のデータ # → 各要素が0（非購入）または1（購入）の配列 A_data = np.random.binomial(1, 0.10, 1000) # CVR 10%のグループA B_data = np.random.binomial(1, 0.12, 1000) # CVR 12%のグループB # 効果サイズ計算 effect = calculate_effect_sizes(A_data, B_data) print("【効果サイズの計算】") print(f"AのCVR: {effect['A_CVR']:.2%}") print(f"BのCVR: {effect['B_CVR']:.2%}") print(f"\n1. 絶対差: {effect['絶対差']:.2%}ポイント") print(f" → CVRが{effect['絶対差']:.2%}ポイント改善") print(f"\n2. 相対差（リフト）: {effect['相対差']:.1f}%") print(f" → ベースラインから{effect['相対差']:.1f}%向上") print(f"\n3. Cohen's d: {effect['Cohens_d']:.3f} → {interpret_cohens_d(effect['Cohens_d'])}") print(f" → 標準化された効果量") print(f"\n4. オッズ比: {effect['オッズ比']:.2f}倍") print(f" → Bグループは{effect['オッズ比']:.2f}倍成功しやすい") # ============================================ # stats.ttest_ind(): 独立2標本t検定 # ============================================ # p値を参考として計算（統計的有意性の確認） t_stat, p_value = stats.ttest_ind(B_data, A_data) print(f"\n【参考】p値: {p_value:.4f}") print(f"→ p{'<' if p_value < 0.05 else '≥'}0.05 → 統計的に{'有意' if p_value < 0.05 else '有意でない'}")

# ============================================ # ビジネスインパクトの計算 # ============================================ # 統計的有意性だけでなく、「ビジネスとしての価値」を計算 # → ROI（投資対効果）で判断する def calculate_business_impact( baseline_cvr, new_cvr, monthly_visitors, avg_order_value, implementation_cost, months=12 ): “”” ビジネスインパクトを計算 Parameters: ———– baseline_cvr : float – 現在のCVR（例: 0.10 = 10%） new_cvr : float – 新しいCVR（例: 0.12 = 12%） monthly_visitors : int – 月間訪問者数 avg_order_value : float – 平均注文金額（円） implementation_cost : float – 実装コスト（円） months : int – 計算期間（月）、デフォルト12ヶ月 Returns: ——– dict – ビジネスインパクト指標 “”” print(“=” * 60) print(“ビジネスインパクト分析”) print(“=” * 60) # ============================================ # 1. CVR改善の計算 # ============================================ # cvr_diff: 絶対差（%ポイント） # cvr_lift: 相対差（リフト%） cvr_diff = new_cvr – baseline_cvr cvr_lift = cvr_diff / baseline_cvr * 100 print(f”\n【1. CVR改善】”) print(f”現在のCVR: {baseline_cvr:.2%}”) print(f”新しいCVR: {new_cvr:.2%}”) print(f”改善幅: {cvr_diff:.2%}ポイント（{cvr_lift:.1f}%リフト）”) # ============================================ # 2. 月間インパクトの計算 # ============================================ # 成約数 = 訪問者数 × CVR # 売上 = 成約数 × 平均注文金額 current_conversions = monthly_visitors * baseline_cvr new_conversions = monthly_visitors * new_cvr additional_conversions = new_conversions – current_conversions current_revenue = current_conversions * avg_order_value new_revenue = new_conversions * avg_order_value additional_revenue = new_revenue – current_revenue print(f”\n【2. 月間インパクト】”) print(f”月間訪問者: {monthly_visitors:,}人”) print(f”現在の成約数: {current_conversions:,.0f}人”) print(f”新しい成約数: {new_conversions:,.0f}人”) print(f”追加成約数: +{additional_conversions:,.0f}人/月”) print(f”追加売上: +{additional_revenue:,.0f}円/月”) # ============================================ # 3. 期間累計の計算 # ============================================ total_additional_revenue = additional_revenue * months print(f”\n【3. {months}ヶ月累計】”) print(f”累計追加売上: +{total_additional_revenue:,.0f}円”) # ============================================ # 4. ROI（投資対効果）の計算 # ============================================ # ROI = (利益 – コスト) / コスト × 100% # 回収期間 = コスト / 月間追加売上 net_profit = total_additional_revenue – implementation_cost roi = net_profit / implementation_cost * 100 if implementation_cost > 0 else float(‘inf’) payback_months = implementation_cost / additional_revenue if additional_revenue > 0 else float(‘inf’) print(f”\n【4. 投資対効果】”) print(f”実装コスト: {implementation_cost:,.0f}円”) print(f”純利益: {net_profit:,.0f}円”) print(f”ROI: {roi:,.0f}%”) print(f”回収期間: {payback_months:.1f}ヶ月”) # ============================================ # 5. 判断基準 # ============================================ # ROIに基づく実装判断の目安 print(f”\n【5. 推奨判断】”) if roi >= 500: print(“✅ 非常に高いROI → 優先的に実装すべき”) elif roi >= 200: print(“✅ 高いROI → 実装を推奨”) elif roi >= 100: print(“⚠️ まずまずのROI → コストとリスクを考慮して判断”) elif roi >= 0: print(“⚠️ 低いROI → 他の施策と比較検討”) else: print(“❌ マイナスROI → 実装すべきでない”) print(“=” * 60) return { ‘cvr_diff’: cvr_diff, ‘additional_revenue_monthly’: additional_revenue, ‘total_revenue’: total_additional_revenue, ‘roi’: roi, ‘payback_months’: payback_months } # ============================================ # 実行例 # ============================================ # A/Bテストの結果を使ってビジネスインパクトを試算 result = calculate_business_impact( baseline_cvr=0.10, # 現在のCVR: 10% new_cvr=0.12, # 新CVR: 12% monthly_visitors=10000, # 月間訪問者: 1万人 avg_order_value=5000, # 平均注文金額: 5,000円 implementation_cost=500000 # 実装コスト: 50万円 )

# ============================================ # A/Bテスト総合判断関数 # ============================================ # 統計的有意性、実務的重要性、ROIを # すべて考慮して総合判断を行う import numpy as np from scipy import stats def comprehensive_ab_test_decision( A_conversions, A_total, B_conversions, B_total, monthly_visitors, avg_order_value, implementation_cost, alpha=0.05, min_practical_diff=0.01, min_roi=100 ): “”” A/Bテストの総合的な判断を行う Parameters: ———– A_conversions : int – A群のコンバージョン数 A_total : int – A群の総数 B_conversions : int – B群のコンバージョン数 B_total : int – B群の総数 monthly_visitors : int – 月間訪問者数 avg_order_value : float – 平均注文金額 implementation_cost : float – 実装コスト alpha : float – 有意水準（デフォルト0.05） min_practical_diff : float – 実務的に重要とみなす最小差 （デフォルト0.01 = 1%ポイント） min_roi : float – 必要な最小ROI%（デフォルト100%） Returns: ——– dict – 判断結果と各種指標 “”” print(“=” * 65) print(“A/Bテスト 総合判断レポート”) print(“=” * 65) # ============================================ # CVR計算 # ============================================ # CVR = コンバージョン数 / 総数 A_cvr = A_conversions / A_total B_cvr = B_conversions / B_total diff = B_cvr – A_cvr # 絶対差 # ============================================ # 統計的検定（カイ二乗検定） # ============================================ # 比率の差の検定にはカイ二乗検定を使用 # 分割表（クロス集計表）を作成 from scipy.stats import chi2_contingency contingency = [[A_conversions, A_total – A_conversions], [B_conversions, B_total – B_conversions]] chi2, p_value, dof, expected = chi2_contingency(contingency) # ============================================ # 効果サイズ計算 # ============================================ # relative_lift: 相対的な改善率（%） relative_lift = diff / A_cvr * 100 if A_cvr > 0 else 0 # ============================================ # ビジネスインパクト計算 # ============================================ # 年間の追加売上とROIを計算 additional_conversions = monthly_visitors * diff additional_revenue = additional_conversions * avg_order_value * 12 # 年間 roi = (additional_revenue – implementation_cost) / implementation_cost * 100 # ============================================ # 結果出力 # ============================================ print(f”\n【1. 基本結果】”) print(f”A群: {A_conversions}/{A_total} = {A_cvr:.2%}”) print(f”B群: {B_conversions}/{B_total} = {B_cvr:.2%}”) print(f”差: {diff:.2%}ポイント（{relative_lift:.1f}%リフト）”) # 統計的有意性の判定 print(f”\n【2. 統計的有意性】”) print(f”p値: {p_value:.4f}”) statistically_significant = p_value < alpha print(f"判定: {'✅ 有意' if statistically_significant else '❌ 有意でない'}（α={alpha}）") # 実務的重要性の判定 print(f"\n【3. 実務的重要性】") print(f"効果サイズ: {diff:.2%}ポイント") practically_significant = abs(diff) >= min_practical_diff print(f”判定: {‘✅ 重要’ if practically_significant else ‘❌ 重要でない’}（基準≥{min_practical_diff:.1%}）”) # ビジネスインパクトの判定 print(f”\n【4. ビジネスインパクト】”) print(f”年間追加売上: {additional_revenue:,.0f}円”) print(f”ROI: {roi:,.0f}%”) roi_sufficient = roi >= min_roi print(f”判定: {‘✅ 十分’ if roi_sufficient else ‘❌ 不十分’}（基準≥{min_roi}%）”) # ============================================ # 総合判断（3つの基準を組み合わせ） # ============================================ print(f”\n【5. 総合判断】”) print(“-” * 65) if statistically_significant and practically_significant and roi_sufficient: # 3つすべてOK → 実装推奨 decision = “IMPLEMENT” print(“✅ 実装を強く推奨”) print(” 理由: 統計的に有意、実務的に重要、ROIも十分”) elif statistically_significant and practically_significant: # 統計OK、実務OK、ROI不足 → コスト見直し decision = “CONSIDER” print(“⚠️ 実装を検討（コスト見直し推奨）”) print(” 理由: 効果はあるが、ROIが低い”) elif statistically_significant and not practically_significant: # 統計OK、実務NG → 効果が小さい decision = “SKIP” print(“⚠️ 優先度低（他の施策を検討）”) print(” 理由: 統計的に有意だが、改善幅が小さい”) elif not statistically_significant and practically_significant: # 統計NG、実務OK → サンプル不足の可能性 decision = “RETEST” print(“⚠️ 再テストを推奨”) print(” 理由: 効果は大きそうだが、サンプル不足の可能性”) else: # すべてNG → 現状維持 decision = “NO_ACTION” print(“❌ 現状維持”) print(” 理由: 統計的にも実務的にも有意な差なし”) print(“=” * 65) return { ‘decision’: decision, ‘p_value’: p_value, ‘effect_size’: diff, ‘roi’: roi, ‘statistically_significant’: statistically_significant, ‘practically_significant’: practically_significant } # ============================================ # 使用例 # ============================================ # A/Bテスト結果を入力して総合判断 result = comprehensive_ab_test_decision( A_conversions=500, A_total=5000, # A群: 500/5000 = 10% B_conversions=600, B_total=5000, # B群: 600/5000 = 12% monthly_visitors=10000, # 月間1万人 avg_order_value=5000, # 平均5,000円 implementation_cost=500000 # 実装コスト50万円 )