推定と検定の実践(具体例)
Step 6-7の理論を具体的な分布で実践し、計算力と理解を深めます
📚 この実践演習の目的
Step 6とStep 7で学んだ推定理論と検定理論の抽象的な概念を、具体的な確率分布に適用します。正規分布、ポアソン分布、指数分布など、実際によく使われる分布での最尤推定、不偏性の確認、尤度比検定、検出力の計算を通じて、理論と実践を結びつけます。
🎯 学習内容
- 正規分布の母数推定
- ポアソン分布の推定
- 指数分布の推定
- 尤度比検定の実践
- 検出力の数値計算
⏱️ 推奨学習時間
- 理論復習:30分
- 例題演習:1.5時間
- 練習問題:1時間
- 合計:約3時間
1. 正規分布の母数推定
1.1 正規分布の最尤推定(復習と発展)
$X_1, X_2, \ldots, X_n \sim N(\mu, \sigma^2)$ が独立
最尤推定量(Step 6で導出済み)
$\hat{\mu} = \bar{X} = \frac{1}{n}\sum X_i$
$\hat{\sigma}^2 = \frac{1}{n}\sum (X_i – \bar{X})^2$
今回学ぶこと
・不偏推定量の導出と修正
・分散の推定量の性質
・フィッシャー情報量の計算
・区間推定への応用
例題1:正規分布の分散の不偏推定量
問題:$X_1, X_2, \ldots, X_n \sim N(\mu, \sigma^2)$ のとき、以下を示せ。
(1) $\hat{\sigma}^2 = \frac{1}{n}\sum(X_i – \bar{X})^2$ は $\sigma^2$ の不偏推定量ではない
(2) $s^2 = \frac{1}{n-1}\sum(X_i – \bar{X})^2$ は $\sigma^2$ の不偏推定量である
(1) $\hat{\sigma}^2$ が不偏でないことの証明
$$E[\hat{\sigma}^2] = E\left[\frac{1}{n}\sum(X_i – \bar{X})^2\right]$$
恒等式を使う: $$\sum(X_i – \bar{X})^2 = \sum(X_i – \mu)^2 – n(\bar{X} – \mu)^2$$
期待値をとると: $$E\left[\sum(X_i – \bar{X})^2\right] = E\left[\sum(X_i – \mu)^2\right] – E\left[n(\bar{X} – \mu)^2\right]$$ $$= n\sigma^2 – n \cdot \frac{\sigma^2}{n} = n\sigma^2 – \sigma^2 = (n-1)\sigma^2$$
よって: $$E[\hat{\sigma}^2] = \frac{1}{n} \cdot (n-1)\sigma^2 = \frac{n-1}{n}\sigma^2 \neq \sigma^2$$
バイアス: $$\text{Bias}(\hat{\sigma}^2) = E[\hat{\sigma}^2] – \sigma^2 = -\frac{\sigma^2}{n}$$ 負のバイアス(過小推定)を持つ
(2) $s^2$ が不偏であることの証明
$$E[s^2] = E\left[\frac{1}{n-1}\sum(X_i – \bar{X})^2\right] = \frac{1}{n-1} \cdot (n-1)\sigma^2 = \sigma^2$$
よって、$s^2$ は $\sigma^2$ の不偏推定量である。
💡 ポイント:分母を $n$ ではなく $(n-1)$ にすることで不偏性を確保!
例題2:正規分布のフィッシャー情報量
問題:$X \sim N(\mu, \sigma^2)$($\sigma^2$ は既知)のとき、$\mu$ に関するフィッシャー情報量 $I(\mu)$ を求めよ。
確率密度関数: $$f(x; \mu) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}$$
対数尤度: $$\ell(\mu) = \log f(x; \mu) = -\frac{1}{2}\log(2\pi\sigma^2) – \frac{(x-\mu)^2}{2\sigma^2}$$
1階微分: $$\frac{\partial \ell}{\partial \mu} = \frac{x-\mu}{\sigma^2}$$
2階微分: $$\frac{\partial^2 \ell}{\partial \mu^2} = -\frac{1}{\sigma^2}$$
フィッシャー情報量: $$I(\mu) = -E\left[\frac{\partial^2 \ell}{\partial \mu^2}\right] = \frac{1}{\sigma^2}$$
または、スコア関数の分散として: $$I(\mu) = E\left[\left(\frac{\partial \ell}{\partial \mu}\right)^2\right] = \frac{E[(X-\mu)^2]}{\sigma^4} = \frac{\sigma^2}{\sigma^4} = \frac{1}{\sigma^2}$$
$n$ 個の独立な観測値の場合: $$I_n(\mu) = n \cdot I(\mu) = \frac{n}{\sigma^2}$$
💡 クラメール・ラオの下限:$\text{Var}(\hat{\mu}) \geq \frac{\sigma^2}{n}$
例題3:正規分布の平均の区間推定
問題:正規母集団 $N(\mu, \sigma^2)$ から $n=16$ の標本を取り、$\bar{X}=50$, $s^2=25$ を得た。$\mu$ の 95% 信頼区間を求めよ。($t_{15}(0.025) = 2.131$)
使用する統計量: $$T = \frac{\bar{X} – \mu}{s/\sqrt{n}} \sim t(n-1) = t(15)$$
95%信頼区間の導出: $$P(-t_{15}(0.025) \leq T \leq t_{15}(0.025)) = 0.95$$ $$P\left(-2.131 \leq \frac{\bar{X} – \mu}{s/\sqrt{n}} \leq 2.131\right) = 0.95$$
変形すると: $$P\left(\bar{X} – 2.131 \cdot \frac{s}{\sqrt{n}} \leq \mu \leq \bar{X} + 2.131 \cdot \frac{s}{\sqrt{n}}\right) = 0.95$$
数値代入:
$s = \sqrt{25} = 5$
標準誤差 $= s/\sqrt{n} = 5/\sqrt{16} = 5/4 = 1.25$
誤差限界 $= 2.131 \times 1.25 = 2.664$
95%信頼区間: $$[50 – 2.664, 50 + 2.664] = [47.336, 52.664] \approx [47.34, 52.66]$$
💡 解釈:$\mu$ は 95% の信頼度で 47.34 から 52.66 の間にある
2. ポアソン分布の推定と検定
2.1 ポアソン分布の最尤推定
$$P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots$$
期待値と分散:
$E[X] = \lambda$, $\text{Var}(X) = \lambda$
最尤推定量(Step 6で導出済み):
$\hat{\lambda} = \bar{X}$
今回学ぶこと:
・不偏性と一致性の確認
・フィッシャー情報量
・仮説検定への応用
例題4:ポアソン分布の推定量の性質
問題:$X_1, X_2, \ldots, X_n \sim \text{Po}(\lambda)$ が独立のとき、以下を示せ。
(1) $\hat{\lambda} = \bar{X}$ は $\lambda$ の不偏推定量である
(2) $\hat{\lambda}$ は $\lambda$ の一致推定量である
(3) $\lambda$ に関するフィッシャー情報量を求めよ
(1) 不偏性の証明
$$E[\hat{\lambda}] = E[\bar{X}] = E\left[\frac{1}{n}\sum X_i\right] = \frac{1}{n}\sum E[X_i] = \frac{1}{n} \cdot n \cdot \lambda = \lambda$$
よって、$\hat{\lambda}$ は $\lambda$ の不偏推定量。
(2) 一致性の証明
$$\text{Var}(\hat{\lambda}) = \text{Var}(\bar{X}) = \text{Var}\left[\frac{1}{n}\sum X_i\right] = \frac{1}{n^2}\sum \text{Var}(X_i) = \frac{1}{n^2} \cdot n \cdot \lambda = \frac{\lambda}{n} \to 0 \quad (n \to \infty)$$
$E[\hat{\lambda}] = \lambda$(すべての $n$ で)かつ $\text{Var}(\hat{\lambda}) \to 0$($n \to \infty$)より、$\hat{\lambda} \xrightarrow{p} \lambda$(確率収束)
(3) フィッシャー情報量
確率関数:$P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}$
対数尤度: $$\ell(\lambda) = k \log \lambda – \lambda – \log k!$$
1階微分: $$\frac{\partial \ell}{\partial \lambda} = \frac{k}{\lambda} – 1$$
2階微分: $$\frac{\partial^2 \ell}{\partial \lambda^2} = -\frac{k}{\lambda^2}$$
フィッシャー情報量: $$I(\lambda) = -E\left[\frac{\partial^2 \ell}{\partial \lambda^2}\right] = \frac{E[X]}{\lambda^2} = \frac{\lambda}{\lambda^2} = \frac{1}{\lambda}$$
$n$ 個の観測値の場合: $$I_n(\lambda) = \frac{n}{\lambda}$$
💡 クラメール・ラオの下限:$\text{Var}(\hat{\lambda}) \geq \frac{\lambda}{n}$(等号成立!)
例題5:ポアソン分布の母数の検定
問題:ある交差点で1時間あたりの交通事故件数は $\text{Po}(\lambda)$ に従うとする。過去のデータから $\lambda = 2$ と考えられていた。新しく $n=50$ 時間観測したところ、総事故件数が 120件 だった。$\lambda = 2$ という仮説を有意水準 5% で検定せよ。
仮説設定:
$H_0: \lambda = 2$ vs $H_1: \lambda \neq 2$(両側検定)
検定統計量:
標本平均:$\bar{X} = 120/50 = 2.4$
中心極限定理より、$n$ が大きいとき: $$\bar{X} \sim N\left(\lambda, \frac{\lambda}{n}\right) \quad \text{近似的に}$$
標準化: $$Z = \frac{\bar{X} – \lambda_0}{\sqrt{\lambda_0/n}} = \frac{2.4 – 2}{\sqrt{2/50}} = \frac{0.4}{\sqrt{0.04}} = \frac{0.4}{0.2} = 2.0$$
棄却域($\alpha = 0.05$):
$|Z| > 1.96$
判定:
$|2.0| = 2.0 > 1.96$
よって、$H_0$ を棄却する。
結論:
有意水準 5% で、$\lambda = 2$ という仮説は棄却される。データは $\lambda > 2$ であることを示唆している。
$p$ 値の計算:
$p = 2 \cdot P(Z > 2.0) = 2 \times 0.0228 = 0.0456 < 0.05$
💡 実務的解釈:事故率が増加している可能性あり
3. 指数分布の推定
3.1 指数分布の基礎
確率密度関数:$f(x; \lambda) = \lambda e^{-\lambda x}, \quad x > 0$
期待値と分散:
$E[X] = \frac{1}{\lambda}$, $\text{Var}(X) = \frac{1}{\lambda^2}$
用途:
待ち時間、寿命、故障までの時間のモデル化
例題6:指数分布の最尤推定
問題:$X_1, X_2, \ldots, X_n \sim \text{Exp}(\lambda)$ が独立のとき、以下を求めよ。
(1) $\lambda$ の最尤推定量
(2) 推定量の期待値と分散
(3) $\lambda$ に関するフィッシャー情報量
(1) 最尤推定量の導出
尤度関数: $$L(\lambda) = \prod \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum x_i}$$
対数尤度: $$\ell(\lambda) = n \log \lambda – \lambda \sum x_i$$
微分して0とおく: $$\frac{d\ell}{d\lambda} = \frac{n}{\lambda} – \sum x_i = 0$$ $$\hat{\lambda} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}$$
最尤推定量:$\hat{\lambda} = \frac{1}{\bar{X}}$
(2) 推定量の期待値と分散
まず、$n\bar{X} \sim \Gamma(n, \lambda)$(指数分布の和はガンマ分布)
$T = 2\lambda n\bar{X} \sim \chi^2(2n)$
結果: $$E[\hat{\lambda}] = \frac{n\lambda}{n-1} \quad (n \geq 2)$$
バイアス: $$\text{Bias}(\hat{\lambda}) = \frac{n\lambda}{n-1} – \lambda = \frac{\lambda}{n-1}$$ 正のバイアス(過大推定)を持つ
不偏推定量: $$\hat{\lambda}^* = \frac{n-1}{n} \cdot \frac{1}{\bar{X}} = \frac{n-1}{\sum X_i}$$
分散: $$\text{Var}(\hat{\lambda}^*) = \frac{\lambda^2}{n-2} \quad (n \geq 3)$$
(3) フィッシャー情報量
$$\ell(\lambda) = \log \lambda – \lambda x$$ $$\frac{\partial \ell}{\partial \lambda} = \frac{1}{\lambda} – x$$ $$\frac{\partial^2 \ell}{\partial \lambda^2} = -\frac{1}{\lambda^2}$$
$$I(\lambda) = -E\left[\frac{\partial^2 \ell}{\partial \lambda^2}\right] = \frac{1}{\lambda^2}$$
$n$ 個の観測値: $$I_n(\lambda) = \frac{n}{\lambda^2}$$
💡 クラメール・ラオの下限:$\text{Var}(\hat{\lambda}) \geq \frac{\lambda^2}{n}$
4. 尤度比検定の実践
4.1 尤度比検定の復習
$$\Lambda = \frac{L(\theta_0)}{L(\hat{\theta})}$$ ($\theta_0$:帰無仮説下の値、$\hat{\theta}$:最尤推定値)
検定の手順:
1. 尤度比 $\Lambda$ を計算
2. $\Lambda$ が小さければ $H_0$ を棄却
3. 大標本では $-2 \log \Lambda \sim \chi^2(r)$($r$:制約の数)
ウィルクスの定理:
$n \to \infty$ のとき、$-2 \log \Lambda \xrightarrow{d} \chi^2(r)$
例題7:正規分布の平均に関する尤度比検定
問題:$X_1, X_2, \ldots, X_{10} \sim N(\mu, 1)$($\sigma^2 = 1$ 既知)のとき、$H_0: \mu = 0$ vs $H_1: \mu \neq 0$ を尤度比検定で検定せよ。データから $\sum X_i = 15$ を得た。
最尤推定量:
$\hat{\mu} = \bar{X} = 15/10 = 1.5$
尤度関数: $$L(\mu) = \left(\frac{1}{\sqrt{2\pi}}\right)^n \exp\left\{-\frac{\sum(x_i – \mu)^2}{2}\right\}$$
尤度比: $$\Lambda = \frac{L(0)}{L(\hat{\mu})} = \exp\left\{-\frac{n\hat{\mu}^2}{2}\right\} = \exp\left\{-\frac{10 \times 1.5^2}{2}\right\} = \exp\{-11.25\} \approx 1.27 \times 10^{-5}$$
検定統計量: $$-2 \log \Lambda = -2 \times (-11.25) = 22.5$$
漸近分布:
$-2 \log \Lambda \sim \chi^2(1)$(制約数 $r = 1$)
棄却域($\alpha = 0.05$):
$-2 \log \Lambda > \chi^2_1(0.05) = 3.84$
判定:
$22.5 > 3.84$ より、$H_0$ を強く棄却。
別解:$Z$ 検定との関係
$$Z = \frac{\hat{\mu}}{1/\sqrt{n}} = \frac{1.5}{1/\sqrt{10}} = 4.74$$ $$Z^2 = 22.5 = -2 \log \Lambda$$ (両者は一致!)
💡 尤度比検定は多くの古典的検定の統一的理解を与える
例題8:複合仮説の尤度比検定
問題:$X_1, X_2, \ldots, X_n \sim N(\mu, \sigma^2)$ のとき、$H_0: \mu = \mu_0$ vs $H_1: \mu \neq \mu_0$ を $\sigma^2$ 未知の下で尤度比検定せよ。これが $t$ 検定に帰着することを示せ。
$H_0$ の下での最尤推定:
$\mu = \mu_0$(固定)
$\hat{\sigma}_0^2 = \frac{1}{n}\sum(x_i – \mu_0)^2$
全体での最尤推定:
$\hat{\mu} = \bar{X}$
$\hat{\sigma}^2 = \frac{1}{n}\sum(x_i – \bar{X})^2$
検定統計量: $$-2(\ell_0 – \ell_1) = n \log\left(\frac{\hat{\sigma}_0^2}{\hat{\sigma}^2}\right)$$
ここで: $$\sum(x_i – \mu_0)^2 = \sum(x_i – \bar{X})^2 + n(\bar{X} – \mu_0)^2$$ より、 $$\frac{\hat{\sigma}_0^2}{\hat{\sigma}^2} = 1 + \frac{n(\bar{X} – \mu_0)^2}{\sum(x_i – \bar{X})^2} = 1 + \frac{t^2}{n-1}$$
ここで、$t = \frac{\bar{X} – \mu_0}{s/\sqrt{n}}$($t$ 統計量)
よって: $$-2 \log \Lambda = n \log\left(1 + \frac{t^2}{n-1}\right)$$
近似関係:
$n$ が大きいとき、$\log(1 + x/n) \approx x/n$ より、 $$-2 \log \Lambda \approx t^2$$
結論:
尤度比検定は $t$ 検定と(漸近的に)等価!
正確には、$-2 \log \Lambda$ を単調変換すると $t^2$ になる。
💡 古典的な $t$ 検定は尤度比検定の一種である
5. 検出力の数値計算
5.1 検出力の定義と計算方法
$$\pi(\theta) = P_\theta(H_0 \text{ を棄却}) = 1 – \beta(\theta)$$
意味:
・対立仮説 $H_1$ が真のとき、正しく棄却する確率
・「真実を見抜く力」
・検出力が高いほど良い検定
検出力関数:
$\theta$ を変化させたときの検出力の関数 $\pi(\theta)$
例題9:正規分布の平均の検定における検出力
問題:$X \sim N(\mu, 1)$ に基づき、$H_0: \mu = 0$ vs $H_1: \mu > 0$ を $\alpha = 0.05$ で検定する。$n = 25$ のとき、$\mu = 0.4$ における検出力を求めよ。
検定統計量: $$Z = \frac{\bar{X}}{\sigma/\sqrt{n}} = \frac{\bar{X}}{1/\sqrt{25}} = 5\bar{X}$$
棄却域($\alpha = 0.05$):
$Z > z_{0.05} = 1.645$
すなわち、$\bar{X} > 1.645/5 = 0.329$
$\mu = 0.4$ のときの検出力: $$\pi(0.4) = P_{\mu=0.4}(\bar{X} > 0.329)$$
$\mu = 0.4$ のとき、$\bar{X} \sim N(0.4, 1/25)$
標準化:$Z’ = \frac{\bar{X} – 0.4}{1/5} \sim N(0, 1)$
$$\pi(0.4) = P\left(\frac{\bar{X} – 0.4}{1/5} > \frac{0.329 – 0.4}{1/5}\right) = P(Z’ > -0.355) = P(Z’ < 0.355) = \Phi(0.355) \approx 0.639$$
答え:検出力は約 63.9%
第2種の誤りの確率: $$\beta(0.4) = 1 – \pi(0.4) = 1 – 0.639 = 0.361$$ (約 36% の確率で見逃す)
💡 サンプルサイズを増やせば検出力が上がる!
例題10:必要サンプルサイズの計算
問題:前問の設定で、$\mu = 0.4$ のときの検出力を 90% 以上にするには、サンプルサイズ $n$ をいくつにすればよいか。
設定:
$H_0: \mu = 0$ vs $H_1: \mu = 0.4$
$\alpha = 0.05$, 検出力 $\pi(0.4) \geq 0.90$
検定統計量: $$Z = \frac{\bar{X}}{1/\sqrt{n}} = \sqrt{n} \cdot \bar{X}$$
棄却域:
$Z > 1.645$、すなわち $\bar{X} > 1.645/\sqrt{n}$
検出力の条件: $$\pi(0.4) = P_{\mu=0.4}\left(\bar{X} > \frac{1.645}{\sqrt{n}}\right) \geq 0.90$$
$\mu = 0.4$ のとき:$\frac{\bar{X} – 0.4}{1/\sqrt{n}} \sim N(0, 1)$
$$\pi(0.4) = P\left(Z > 1.645 – 0.4\sqrt{n}\right) = 1 – \Phi(1.645 – 0.4\sqrt{n})$$
条件式: $$1 – \Phi(1.645 – 0.4\sqrt{n}) \geq 0.90$$ $$\Phi(1.645 – 0.4\sqrt{n}) \leq 0.10$$ $$1.645 – 0.4\sqrt{n} \leq -1.282$$ ($z_{0.10} = -1.282$ を使用)
計算: $$-0.4\sqrt{n} \leq -1.282 – 1.645 = -2.927$$ $$\sqrt{n} \geq \frac{2.927}{0.4} = 7.318$$ $$n \geq 53.55$$
答え:$n \geq 54$
検証:
$n = 54$ のとき:
$1.645 – 0.4 \times \sqrt{54} = 1.645 – 2.939 = -1.294$
$\pi(0.4) = 1 – \Phi(-1.294) = \Phi(1.294) \approx 0.902 > 0.90$ ✓
💡 検出力を上げるにはサンプルサイズを増やす必要がある
6. 総合演習問題
正規分布(問題1-7):
1. 正規分布の分散の最尤推定量の一致性を示せ
2. 正規分布の標準偏差 $\sigma$ のフィッシャー情報量を求めよ
3. 2つの正規母集団の平均の差の検定を尤度比検定で導け
4. 正規分布の精度 $\tau = 1/\sigma^2$ の最尤推定量を求めよ
5. 正規分布の片側検定における検出力関数を導出せよ
6. 標本サイズ $n = 16$ で $\mu$ の 99% 信頼区間を求めよ($\bar{X}=10.5$, $s=2$)
7. $\chi^2$ 分布を用いて $\sigma^2$ の信頼区間を構成せよ
ポアソン分布(問題8-12):
8. ポアソン分布の $\lambda$ の最尤推定量の漸近正規性を示せ
9. 2つのポアソン母集団のパラメータの比の検定を考案せよ
10. ポアソン分布のデータで過分散があるかを検定せよ
11. ポアソン回帰の最尤推定を導出せよ
12. 時間集約されたポアソン過程の推定を行え
指数分布(問題13-16):
13. 指数分布の $\lambda$ の不偏推定量を導出せよ
14. 指数分布の無記憶性を用いた推定を考察せよ
15. ワイブル分布への拡張を考えよ
16. 打ち切りデータがある場合の最尤推定を導出せよ
総合問題(問題17-20):
17. 一様分布 $U(0, \theta)$ の $\theta$ の最尤推定量を求め、その性質を調べよ
18. ベルヌーイ分布の $p$ の区間推定を3つの方法で行い比較せよ
19. ガンマ分布の形状母数と尺度母数の同時推定を行え
20. 2標本問題で、尤度比検定・ワルド検定・スコア検定を比較せよ
7. 学習のポイントと次のステップ
✅ できるようになったこと
- 具体的な分布での最尤推定
- 不偏性・一致性の確認
- フィッシャー情報量の計算
- 尤度比検定の実践
- 検出力の数値計算
- 必要サンプルサイズの決定
🎯 重要な公式まとめ
- $N(\mu,\sigma^2)$: $\hat{\mu}=\bar{X}$, $I(\mu)=1/\sigma^2$
- $\text{Po}(\lambda)$: $\hat{\lambda}=\bar{X}$, $I(\lambda)=1/\lambda$
- $\text{Exp}(\lambda)$: $\hat{\lambda}=1/\bar{X}$, $I(\lambda)=1/\lambda^2$
- 検出力: $\pi(\theta)=P_\theta(H_0\text{を棄却})$
- $-2\log\Lambda \sim \chi^2(r)$(大標本)
この実践演習を通じて、抽象的だった推定・検定理論が具体的な計算と結びつきました。特に重要なのは:
1. 最尤推定の実践力:様々な分布で尤度関数を立てて最大化できる
2. 推定量の評価:不偏性・一致性・有効性を具体的に確認できる
3. 尤度比検定の応用:古典的検定が尤度比検定の特殊ケースであることを理解
4. 検出力の計算:実験計画でサンプルサイズを決定できる
次のステップ(回帰分析の発展)では、これらの技術を多変量の問題に拡張していきます!
復習が必要な項目:
・Step 6:推定理論の基礎概念
・Step 7:尤度比検定の理論
・統計学2級レベル:確率分布の性質
次に進む前に確認:
□ 正規分布の最尤推定が自分で導出できる
□ 不偏推定量と最尤推定量の違いを説明できる
□ フィッシャー情報量の意味を理解している
□ 尤度比検定の手順を実行できる
□ 検出力の計算ができる
これらが全てできれば、Step 8(回帰分析の発展)に進む準備が整っています!
学習メモ
統計検定準1級対策 - 練習問題