Step 6: 推定理論（点推定）
不偏性、一致性、有効性、最尤推定法、十分統計量を体系的に理解します
📚 このステップで学ぶこと
点推定は、標本データから母数（パラメータ）の値を推定する統計手法です。このステップでは、推定量の良し悪しを評価する基準（不偏性・一致性・有効性）、最尤推定法、十分統計量の概念を詳しく学びます。統計学準1級レベルで最も重要な分野の一つです！
🎯 なぜこれらを学ぶのか？
- 不偏性：推定量が系統的な偏りを持たないことを保証する基準
- 一致性：データが増えれば推定精度が上がることを保証する基準
- 有効性：推定のばらつきが小さいことを保証する基準
- 最尤推定法：最も広く使われる推定法。漸近的に最良の性質を持つ
- 十分統計量：データを要約しても情報を失わない統計量
1. 点推定の基礎概念
1.1 推定量と推定値
まず、推定に関する基本的な用語を整理しましょう。
📖 用語の定義
母数（パラメータ）$\theta$：
推定したい母集団の未知の定数
推定量 $\hat{\theta}$：
母数を推定するための統計量（確率変数）
推定値：
推定量に実際のデータを代入した値（実現値）
例：母平均 $\mu$ を推定する場合
・推定量：$\bar{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i$（標本平均）
・推定値：$\bar{x} = \dfrac{1}{n}\sum_{i=1}^{n} x_i$（実際の計算結果）
母数（パラメータ）$\theta$：
推定したい母集団の未知の定数
推定量 $\hat{\theta}$：
母数を推定するための統計量（確率変数）
推定値：
推定量に実際のデータを代入した値（実現値）
例：母平均 $\mu$ を推定する場合
・推定量：$\bar{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i$（標本平均）
・推定値：$\bar{x} = \dfrac{1}{n}\sum_{i=1}^{n} x_i$（実際の計算結果）
1.2 点推定と区間推定
📐 推定の2つのアプローチ
① 点推定：
母数の値を1つの値で推定
例：$\hat{\mu} = 50$
② 区間推定：
母数が含まれる範囲を推定（信頼区間）
例：$45 ≦ \mu ≦ 55$（95%信頼区間）
このステップでは「点推定」に焦点を当てます。
① 点推定：
母数の値を1つの値で推定
例：$\hat{\mu} = 50$
② 区間推定：
母数が含まれる範囲を推定（信頼区間）
例：$45 ≦ \mu ≦ 55$（95%信頼区間）
このステップでは「点推定」に焦点を当てます。
2. 推定量の評価基準
2.1 不偏性（Unbiasedness）
「平均的に正しい値を推定できるか」を判断する基準です。
⭐ 不偏性の定義
推定量 $\hat{\theta}$ が母数 $\theta$ の不偏推定量であるとは：
$$E(\hat{\theta}) = \theta$$
意味：
「推定量の期待値が真の母数と一致する」
「平均的には正しい値を推定できる（系統的な偏りがない）」
バイアス（偏り）：
$$\text{Bias}(\hat{\theta}) = E(\hat{\theta}) – \theta$$ 不偏推定量のバイアスは $0$
推定量 $\hat{\theta}$ が母数 $\theta$ の不偏推定量であるとは：
$$E(\hat{\theta}) = \theta$$
意味：
「推定量の期待値が真の母数と一致する」
「平均的には正しい値を推定できる（系統的な偏りがない）」
バイアス（偏り）：
$$\text{Bias}(\hat{\theta}) = E(\hat{\theta}) – \theta$$ 不偏推定量のバイアスは $0$
例題1：標本平均の不偏性
問題：$X_1, X_2, \ldots, X_n$ が独立同分布で、$E(X_i) = \mu$、$V(X_i) = \sigma^2$ のとき、$\bar{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i$ が母平均 $\mu$ の不偏推定量であることを示せ。
解答：
【Step 1】期待値の線形性を使う
$$E(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^{n} X_i\right)$$
【Step 2】定数を外に出す
$$= \frac{1}{n}\sum_{i=1}^{n} E(X_i)$$
【Step 3】各 $E(X_i) = \mu$ を代入
$$= \frac{1}{n} \cdot n \cdot \mu = \mu$$
よって、$E(\bar{X}) = \mu$ なので、$\bar{X}$ は母平均 $\mu$ の不偏推定量である。
【Step 1】期待値の線形性を使う
$$E(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^{n} X_i\right)$$
【Step 2】定数を外に出す
$$= \frac{1}{n}\sum_{i=1}^{n} E(X_i)$$
【Step 3】各 $E(X_i) = \mu$ を代入
$$= \frac{1}{n} \cdot n \cdot \mu = \mu$$
よって、$E(\bar{X}) = \mu$ なので、$\bar{X}$ は母平均 $\mu$ の不偏推定量である。
例題2：標本分散の不偏性
問題：なぜ標本分散は $(n-1)$ で割るのか？不偏性の観点から説明せよ。
解答：
【$n$ で割る場合（不偏ではない）】
$$S_0^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i – \bar{X})^2$$ とすると、 $$E(S_0^2) = \frac{n-1}{n}\sigma^2$$ これは不偏推定量ではない（系統的に過小推定）
【$(n-1)$ で割る場合（不偏）】
$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i – \bar{X})^2$$ とすると、 $$E(S^2) = \sigma^2$$ これは不偏推定量！
理由：
自由度が $n-1$ だから。$\bar{X}$ を使うことで1つの制約が入り、実質的に独立な情報は $n-1$ 個になる。
【$n$ で割る場合（不偏ではない）】
$$S_0^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i – \bar{X})^2$$ とすると、 $$E(S_0^2) = \frac{n-1}{n}\sigma^2$$ これは不偏推定量ではない（系統的に過小推定）
【$(n-1)$ で割る場合（不偏）】
$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i – \bar{X})^2$$ とすると、 $$E(S^2) = \sigma^2$$ これは不偏推定量！
理由：
自由度が $n-1$ だから。$\bar{X}$ を使うことで1つの制約が入り、実質的に独立な情報は $n-1$ 個になる。
2.2 一致性（Consistency）
「データが増えれば推定精度が上がるか」を判断する基準です。
⭐ 一致性の定義
推定量 $\hat{\theta}_n$ が母数 $\theta$ の一致推定量であるとは：
$$\hat{\theta}_n \xrightarrow{p} \theta \quad \text{（確率収束）}$$
意味：
「標本サイズ $n$ が大きくなると、推定量が真の母数に確率収束する」
「データが増えれば増えるほど、推定精度が上がる」
確認方法（十分条件）：
① $E(\hat{\theta}_n) \to \theta$（バイアスが $0$ に収束）
② $V(\hat{\theta}_n) \to 0$（分散が $0$ に収束）
この2つが成立すれば、$\hat{\theta}_n \xrightarrow{p} \theta$
推定量 $\hat{\theta}_n$ が母数 $\theta$ の一致推定量であるとは：
$$\hat{\theta}_n \xrightarrow{p} \theta \quad \text{（確率収束）}$$
意味：
「標本サイズ $n$ が大きくなると、推定量が真の母数に確率収束する」
「データが増えれば増えるほど、推定精度が上がる」
確認方法（十分条件）：
① $E(\hat{\theta}_n) \to \theta$（バイアスが $0$ に収束）
② $V(\hat{\theta}_n) \to 0$（分散が $0$ に収束）
この2つが成立すれば、$\hat{\theta}_n \xrightarrow{p} \theta$
例題3：標本平均の一致性
問題：$\bar{X}$ が母平均 $\mu$ の一致推定量であることを示せ。
解答：
【Step 1】期待値の確認
$E(\bar{X}) = \mu$（すべての $n$ で成立）
【Step 2】分散の確認
$$V(\bar{X}) = \frac{\sigma^2}{n} \to 0 \quad (n \to \infty)$$
【Step 3】チェビシェフの不等式で確認
任意の $\varepsilon > 0$ に対して、
$$P(|\bar{X} – \mu| > \varepsilon) ≦ \frac{V(\bar{X})}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2} \to 0$$
したがって、$\bar{X} \xrightarrow{p} \mu$
【Step 1】期待値の確認
$E(\bar{X}) = \mu$（すべての $n$ で成立）
【Step 2】分散の確認
$$V(\bar{X}) = \frac{\sigma^2}{n} \to 0 \quad (n \to \infty)$$
【Step 3】チェビシェフの不等式で確認
任意の $\varepsilon > 0$ に対して、
$$P(|\bar{X} – \mu| > \varepsilon) ≦ \frac{V(\bar{X})}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2} \to 0$$
したがって、$\bar{X} \xrightarrow{p} \mu$
2.3 有効性（Efficiency）
「推定のばらつきが小さいか」を判断する基準です。
⭐ 有効性の定義
2つの不偏推定量 $\hat{\theta}_1$ と $\hat{\theta}_2$ を比較するとき：
$$V(\hat{\theta}_1) < V(\hat{\theta}_2) \Rightarrow \hat{\theta}_1 \text{ の方が有効}$$
意味：
「同じ不偏推定量なら、分散が小さい方が良い」
「推定のばらつきが小さい方が信頼できる」
相対効率：
$$\text{eff}(\hat{\theta}_1, \hat{\theta}_2) = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)}$$ この値が $1$ より大きければ、$\hat{\theta}_1$ の方が有効
2つの不偏推定量 $\hat{\theta}_1$ と $\hat{\theta}_2$ を比較するとき：
$$V(\hat{\theta}_1) < V(\hat{\theta}_2) \Rightarrow \hat{\theta}_1 \text{ の方が有効}$$
意味：
「同じ不偏推定量なら、分散が小さい方が良い」
「推定のばらつきが小さい方が信頼できる」
相対効率：
$$\text{eff}(\hat{\theta}_1, \hat{\theta}_2) = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)}$$ この値が $1$ より大きければ、$\hat{\theta}_1$ の方が有効
例題4：相対効率の計算
問題：正規母集団 $N(\mu, \sigma^2)$ から標本 $X_1, X_2, X_3$ を抽出。次の2つの推定量の相対効率を求めよ。
$\hat{\theta}_1 = \dfrac{X_1 + X_2 + X_3}{3}$、$\hat{\theta}_2 = \dfrac{X_1 + 2X_2 + X_3}{4}$
解答：
【$\hat{\theta}_1$ の期待値と分散】
$E(\hat{\theta}_1) = \mu$（不偏推定量）
$$V(\hat{\theta}_1) = V\left(\frac{X_1 + X_2 + X_3}{3}\right) = \frac{3\sigma^2}{9} = \frac{\sigma^2}{3}$$
【$\hat{\theta}_2$ の期待値と分散】
$E(\hat{\theta}_2) = \dfrac{\mu + 2\mu + \mu}{4} = \mu$（不偏推定量）
$$V(\hat{\theta}_2) = V\left(\frac{X_1 + 2X_2 + X_3}{4}\right) = \frac{(1 + 4 + 1)\sigma^2}{16} = \frac{6\sigma^2}{16} = \frac{3\sigma^2}{8}$$
【相対効率】
$$\text{eff}(\hat{\theta}_1, \hat{\theta}_2) = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)} = \frac{3\sigma^2/8}{\sigma^2/3} = \frac{9}{8} > 1$$
よって、$\hat{\theta}_1$（標本平均）の方が有効（分散が小さい）
【$\hat{\theta}_1$ の期待値と分散】
$E(\hat{\theta}_1) = \mu$（不偏推定量）
$$V(\hat{\theta}_1) = V\left(\frac{X_1 + X_2 + X_3}{3}\right) = \frac{3\sigma^2}{9} = \frac{\sigma^2}{3}$$
【$\hat{\theta}_2$ の期待値と分散】
$E(\hat{\theta}_2) = \dfrac{\mu + 2\mu + \mu}{4} = \mu$（不偏推定量）
$$V(\hat{\theta}_2) = V\left(\frac{X_1 + 2X_2 + X_3}{4}\right) = \frac{(1 + 4 + 1)\sigma^2}{16} = \frac{6\sigma^2}{16} = \frac{3\sigma^2}{8}$$
【相対効率】
$$\text{eff}(\hat{\theta}_1, \hat{\theta}_2) = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)} = \frac{3\sigma^2/8}{\sigma^2/3} = \frac{9}{8} > 1$$
よって、$\hat{\theta}_1$（標本平均）の方が有効（分散が小さい）
3. 最尤推定法
3.1 最尤推定法の考え方
最も広く使われる推定法です。「観測されたデータが最も生じやすいパラメータ」を推定値とします。
⭐ 最尤推定法（Maximum Likelihood Estimation, MLE）
観測されたデータが最も生じやすいようなパラメータ値を推定値とする方法
尤度関数：
$$L(\theta) = P(X_1 = x_1, X_2 = x_2, \ldots, X_n = x_n \mid \theta)$$ 独立な場合：$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$
最尤推定量：
$L(\theta)$ を最大にする $\theta$ の値
実際の計算手順：
① 対数尤度を計算：$\ell(\theta) = \log L(\theta)$
② 微分して $0$ とおく：$\dfrac{d\ell(\theta)}{d\theta} = 0$
③ これを解いて $\hat{\theta}$ を求める
観測されたデータが最も生じやすいようなパラメータ値を推定値とする方法
尤度関数：
$$L(\theta) = P(X_1 = x_1, X_2 = x_2, \ldots, X_n = x_n \mid \theta)$$ 独立な場合：$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$
最尤推定量：
$L(\theta)$ を最大にする $\theta$ の値
実際の計算手順：
① 対数尤度を計算：$\ell(\theta) = \log L(\theta)$
② 微分して $0$ とおく：$\dfrac{d\ell(\theta)}{d\theta} = 0$
③ これを解いて $\hat{\theta}$ を求める
例題5：正規分布の最尤推定
問題：$X_1, X_2, \ldots, X_n \sim N(\mu, \sigma^2)$ が独立のとき、$\mu$ と $\sigma^2$ の最尤推定量を求めよ。
解答：
【Step 1】尤度関数
$$L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i – \mu)^2}{2\sigma^2}\right)$$ $$= \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum(x_i – \mu)^2}{2\sigma^2}\right)$$
【Step 2】対数尤度
$$\ell(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi) – \frac{n}{2}\log(\sigma^2) – \frac{\sum(x_i – \mu)^2}{2\sigma^2}$$
【Step 3】$\mu$ について微分
$$\frac{\partial \ell}{\partial \mu} = \frac{\sum(x_i – \mu)}{\sigma^2} = 0$$ $$\Rightarrow \hat{\mu} = \frac{1}{n}\sum x_i = \bar{X}$$
【Step 4】$\sigma^2$ について微分
$$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{\sum(x_i – \mu)^2}{2\sigma^4} = 0$$ $$\Rightarrow \hat{\sigma}^2 = \frac{1}{n}\sum(x_i – \bar{X})^2$$
注：$\hat{\sigma}^2$ は不偏推定量ではない（$n$ で割っているため）
【Step 1】尤度関数
$$L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i – \mu)^2}{2\sigma^2}\right)$$ $$= \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum(x_i – \mu)^2}{2\sigma^2}\right)$$
【Step 2】対数尤度
$$\ell(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi) – \frac{n}{2}\log(\sigma^2) – \frac{\sum(x_i – \mu)^2}{2\sigma^2}$$
【Step 3】$\mu$ について微分
$$\frac{\partial \ell}{\partial \mu} = \frac{\sum(x_i – \mu)}{\sigma^2} = 0$$ $$\Rightarrow \hat{\mu} = \frac{1}{n}\sum x_i = \bar{X}$$
【Step 4】$\sigma^2$ について微分
$$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{\sum(x_i – \mu)^2}{2\sigma^4} = 0$$ $$\Rightarrow \hat{\sigma}^2 = \frac{1}{n}\sum(x_i – \bar{X})^2$$
注：$\hat{\sigma}^2$ は不偏推定量ではない（$n$ で割っているため）
例題6：ポアソン分布の最尤推定
問題：$X_1, X_2, \ldots, X_n \sim \text{Po}(\lambda)$ が独立のとき、$\lambda$ の最尤推定量を求めよ。
解答：
【Step 1】尤度関数
$$L(\lambda) = \prod_{i=1}^{n} \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{\prod x_i!}$$
【Step 2】対数尤度
$$\ell(\lambda) = \left(\sum x_i\right) \log \lambda – n\lambda – \log\left(\prod x_i!\right)$$
【Step 3】微分して $0$ とおく
$$\frac{d\ell}{d\lambda} = \frac{\sum x_i}{\lambda} – n = 0$$
【Step 4】解く
$$\hat{\lambda} = \frac{\sum x_i}{n} = \bar{X}$$
よって、$\lambda$ の最尤推定量は $\bar{X}$
【Step 1】尤度関数
$$L(\lambda) = \prod_{i=1}^{n} \frac{\lambda^{x_i} e^{-\lambda}}{x_i!} = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{\prod x_i!}$$
【Step 2】対数尤度
$$\ell(\lambda) = \left(\sum x_i\right) \log \lambda – n\lambda – \log\left(\prod x_i!\right)$$
【Step 3】微分して $0$ とおく
$$\frac{d\ell}{d\lambda} = \frac{\sum x_i}{\lambda} – n = 0$$
【Step 4】解く
$$\hat{\lambda} = \frac{\sum x_i}{n} = \bar{X}$$
よって、$\lambda$ の最尤推定量は $\bar{X}$
3.2 最尤推定量の性質
📐 最尤推定量の良い性質
① 一致性
$n \to \infty$ のとき、$\hat{\theta} \xrightarrow{p} \theta$
② 漸近正規性
$$\sqrt{n}(\hat{\theta} – \theta) \xrightarrow{d} N(0, I(\theta)^{-1})$$ ここで $I(\theta)$ はフィッシャー情報量
③ 不変性
$\hat{\theta}$ が $\theta$ の最尤推定量なら、$g(\hat{\theta})$ は $g(\theta)$ の最尤推定量
④ 漸近有効性
大標本では最も効率的な推定量
① 一致性
$n \to \infty$ のとき、$\hat{\theta} \xrightarrow{p} \theta$
② 漸近正規性
$$\sqrt{n}(\hat{\theta} – \theta) \xrightarrow{d} N(0, I(\theta)^{-1})$$ ここで $I(\theta)$ はフィッシャー情報量
③ 不変性
$\hat{\theta}$ が $\theta$ の最尤推定量なら、$g(\hat{\theta})$ は $g(\theta)$ の最尤推定量
④ 漸近有効性
大標本では最も効率的な推定量
例題7：最尤推定量の不変性
問題：$X \sim B(n, p)$ のとき、$p$ の最尤推定量は $\hat{p} = X/n$ である。オッズ $\theta = p/(1-p)$ の最尤推定量を求めよ。
解答：
不変性より、$g(p) = \dfrac{p}{1-p}$ のとき、
$g(\hat{p})$ が $\theta = \dfrac{p}{1-p}$ の最尤推定量になる。
よって、
$$\hat{\theta} = \frac{\hat{p}}{1-\hat{p}} = \frac{X/n}{1 – X/n} = \frac{X}{n-X}$$
わざわざ尤度関数を最大化しなくてもOK！
不変性より、$g(p) = \dfrac{p}{1-p}$ のとき、
$g(\hat{p})$ が $\theta = \dfrac{p}{1-p}$ の最尤推定量になる。
よって、
$$\hat{\theta} = \frac{\hat{p}}{1-\hat{p}} = \frac{X/n}{1 – X/n} = \frac{X}{n-X}$$
わざわざ尤度関数を最大化しなくてもOK！
4. モーメント法
4.1 モーメント法の考え方
最尤法より計算が簡単な推定法です。
📖 モーメント法（Method of Moments）
理論的なモーメントと標本モーメントを等しいとおいて、母数を推定する方法
手順：
① $k$ 個の母数を推定したい場合、$k$ 次までのモーメントを考える
② $E(X^r) = m_r$（理論的な $r$ 次モーメント）
③ $\dfrac{1}{n}\sum X_i^r = \hat{m}_r$（標本 $r$ 次モーメント）
④ $m_r = \hat{m}_r$ とおいて、母数について解く
最尤法との違い：
・モーメント法の方が計算が簡単
・最尤法の方が漸近的に効率的
理論的なモーメントと標本モーメントを等しいとおいて、母数を推定する方法
手順：
① $k$ 個の母数を推定したい場合、$k$ 次までのモーメントを考える
② $E(X^r) = m_r$（理論的な $r$ 次モーメント）
③ $\dfrac{1}{n}\sum X_i^r = \hat{m}_r$（標本 $r$ 次モーメント）
④ $m_r = \hat{m}_r$ とおいて、母数について解く
最尤法との違い：
・モーメント法の方が計算が簡単
・最尤法の方が漸近的に効率的
例題8：ガンマ分布のモーメント法
問題：$X \sim \text{Gamma}(\alpha, \beta)$ のとき、$E(X) = \alpha\beta$、$V(X) = \alpha\beta^2$ である。$\alpha$、$\beta$ をモーメント法で推定せよ。
解答：
【Step 1】1次と2次のモーメント
$E(X) = \alpha\beta$
$E(X^2) = V(X) + \{E(X)\}^2 = \alpha\beta^2 + \alpha^2\beta^2$
【Step 2】標本モーメント
$\bar{X} = \dfrac{1}{n}\sum X_i$（1次）
$\hat{m}_2 = \dfrac{1}{n}\sum X_i^2$（2次）
【Step 3】モーメント方程式
$\alpha\beta = \bar{X}$
$\alpha\beta^2 + \alpha^2\beta^2 = \hat{m}_2$
【Step 4】解く
標本分散：$S^2 = \hat{m}_2 – \bar{X}^2 = \alpha\beta^2$
よって、
$$\hat{\beta} = \frac{S^2}{\bar{X}}$$ $$\hat{\alpha} = \frac{\bar{X}}{\hat{\beta}} = \frac{\bar{X}^2}{S^2}$$
【Step 1】1次と2次のモーメント
$E(X) = \alpha\beta$
$E(X^2) = V(X) + \{E(X)\}^2 = \alpha\beta^2 + \alpha^2\beta^2$
【Step 2】標本モーメント
$\bar{X} = \dfrac{1}{n}\sum X_i$（1次）
$\hat{m}_2 = \dfrac{1}{n}\sum X_i^2$（2次）
【Step 3】モーメント方程式
$\alpha\beta = \bar{X}$
$\alpha\beta^2 + \alpha^2\beta^2 = \hat{m}_2$
【Step 4】解く
標本分散：$S^2 = \hat{m}_2 – \bar{X}^2 = \alpha\beta^2$
よって、
$$\hat{\beta} = \frac{S^2}{\bar{X}}$$ $$\hat{\alpha} = \frac{\bar{X}}{\hat{\beta}} = \frac{\bar{X}^2}{S^2}$$
5. 十分統計量
5.1 十分統計量の定義
「データを要約しても情報を失わない」統計量です。
⭐ 十分統計量（Sufficient Statistic）
統計量 $T(X)$ が母数 $\theta$ に関して十分であるとは：
「$T(X)$ が与えられたとき、$X$ の条件付き分布が $\theta$ に依存しない」
意味：
「$T(X)$ は、母数 $\theta$ に関する情報をすべて含んでいる」
「標本データを $T(X)$ に要約しても、情報の損失がない」
因数分解定理（Fisher-Neyman）：
尤度関数が次のように因数分解できるとき、$T(X)$ は十分統計量：
$$L(\theta; x) = g(T(x), \theta) \cdot h(x)$$ ここで、$h(x)$ は $\theta$ に依存しない
統計量 $T(X)$ が母数 $\theta$ に関して十分であるとは：
「$T(X)$ が与えられたとき、$X$ の条件付き分布が $\theta$ に依存しない」
意味：
「$T(X)$ は、母数 $\theta$ に関する情報をすべて含んでいる」
「標本データを $T(X)$ に要約しても、情報の損失がない」
因数分解定理（Fisher-Neyman）：
尤度関数が次のように因数分解できるとき、$T(X)$ は十分統計量：
$$L(\theta; x) = g(T(x), \theta) \cdot h(x)$$ ここで、$h(x)$ は $\theta$ に依存しない
例題9：十分統計量の確認
問題：$X_1, X_2, \ldots, X_n \sim N(\mu, \sigma^2)$ が独立のとき、$T = (\sum X_i, \sum X_i^2)$ が $(\mu, \sigma^2)$ の十分統計量であることを示せ。
解答：
【Step 1】尤度関数を書く
$$L(\mu, \sigma^2; x) = \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum(x_i – \mu)^2}{2\sigma^2}\right)$$
【Step 2】指数部分を展開
$$\sum(x_i – \mu)^2 = \sum x_i^2 – 2\mu\sum x_i + n\mu^2$$
【Step 3】因数分解
$$L(\mu, \sigma^2; x) = \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum x_i^2 – 2\mu\sum x_i + n\mu^2}{2\sigma^2}\right)$$
これは $T = (\sum X_i, \sum X_i^2)$ のみを通して $(\mu, \sigma^2)$ に依存する。
よって、$T$ は十分統計量。
【Step 1】尤度関数を書く
$$L(\mu, \sigma^2; x) = \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum(x_i – \mu)^2}{2\sigma^2}\right)$$
【Step 2】指数部分を展開
$$\sum(x_i – \mu)^2 = \sum x_i^2 – 2\mu\sum x_i + n\mu^2$$
【Step 3】因数分解
$$L(\mu, \sigma^2; x) = \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{\sum x_i^2 – 2\mu\sum x_i + n\mu^2}{2\sigma^2}\right)$$
これは $T = (\sum X_i, \sum X_i^2)$ のみを通して $(\mu, \sigma^2)$ に依存する。
よって、$T$ は十分統計量。
5.2 ラオ・ブラックウェルの定理
📐 ラオ・ブラックウェルの定理
$\hat{\theta}$ が不偏推定量、$T$ が十分統計量のとき：
$$\tilde{\theta} = E(\hat{\theta} \mid T)$$ とおくと、
① $\tilde{\theta}$ も不偏推定量
② $V(\tilde{\theta}) ≦ V(\hat{\theta})$
意味：
「十分統計量 $T$ で条件付き期待値をとることで、分散を減らせる」
「不偏推定量を改良できる」
$\hat{\theta}$ が不偏推定量、$T$ が十分統計量のとき：
$$\tilde{\theta} = E(\hat{\theta} \mid T)$$ とおくと、
① $\tilde{\theta}$ も不偏推定量
② $V(\tilde{\theta}) ≦ V(\hat{\theta})$
意味：
「十分統計量 $T$ で条件付き期待値をとることで、分散を減らせる」
「不偏推定量を改良できる」
6. クラメール・ラオの不等式
6.1 フィッシャー情報量
「データが母数についてどれだけの情報を持つか」を数値化したものです。
⭐ フィッシャー情報量（Fisher Information）
$$I(\theta) = E\left[\left(\frac{\partial \log f(X; \theta)}{\partial \theta}\right)^2\right]$$ または（正則条件のもとで）
$$I(\theta) = -E\left[\frac{\partial^2 \log f(X; \theta)}{\partial \theta^2}\right]$$
意味：
「データ $X$ が $\theta$ について持つ情報量」
「$I(\theta)$ が大きいほど、$\theta$ を精度よく推定できる」
$n$ 個の独立な観測値の場合：
$$I_n(\theta) = n \cdot I(\theta)$$
$$I(\theta) = E\left[\left(\frac{\partial \log f(X; \theta)}{\partial \theta}\right)^2\right]$$ または（正則条件のもとで）
$$I(\theta) = -E\left[\frac{\partial^2 \log f(X; \theta)}{\partial \theta^2}\right]$$
意味：
「データ $X$ が $\theta$ について持つ情報量」
「$I(\theta)$ が大きいほど、$\theta$ を精度よく推定できる」
$n$ 個の独立な観測値の場合：
$$I_n(\theta) = n \cdot I(\theta)$$
6.2 クラメール・ラオの不等式
⭐ クラメール・ラオの不等式（Cramér-Rao Inequality）
$\hat{\theta}$ が $\theta$ の不偏推定量のとき：
$$V(\hat{\theta}) ≧ \frac{1}{n \cdot I(\theta)}$$
意味：
「不偏推定量の分散には下限がある」
「この下限を達成する推定量が最良（有効推定量）」
有効推定量：
$V(\hat{\theta}) = \dfrac{1}{n \cdot I(\theta)}$ を達成する不偏推定量
最尤推定量は、大標本で漸近的に有効推定量になる
$\hat{\theta}$ が $\theta$ の不偏推定量のとき：
$$V(\hat{\theta}) ≧ \frac{1}{n \cdot I(\theta)}$$
意味：
「不偏推定量の分散には下限がある」
「この下限を達成する推定量が最良（有効推定量）」
有効推定量：
$V(\hat{\theta}) = \dfrac{1}{n \cdot I(\theta)}$ を達成する不偏推定量
最尤推定量は、大標本で漸近的に有効推定量になる
例題10：正規分布のクラメール・ラオ下界
問題：$X_1, \ldots, X_n \sim N(\mu, \sigma^2)$ が独立で、$\sigma^2$ は既知のとき、$\mu$ の不偏推定量の分散の下限を求めよ。
解答：
【Step 1】対数尤度
$$\log f(x; \mu) = -\frac{1}{2}\log(2\pi\sigma^2) – \frac{(x – \mu)^2}{2\sigma^2}$$
【Step 2】1次微分
$$\frac{\partial \log f}{\partial \mu} = \frac{x – \mu}{\sigma^2}$$
【Step 3】フィッシャー情報量
$$I(\mu) = E\left[\left(\frac{X – \mu}{\sigma^2}\right)^2\right] = \frac{V(X)}{\sigma^4} = \frac{\sigma^2}{\sigma^4} = \frac{1}{\sigma^2}$$
【Step 4】$n$ 個の観測値
$$I_n(\mu) = \frac{n}{\sigma^2}$$
【Step 5】クラメール・ラオ下界
$$V(\hat{\mu}) ≧ \frac{1}{I_n(\mu)} = \frac{\sigma^2}{n}$$
$\bar{X}$ の分散が $V(\bar{X}) = \dfrac{\sigma^2}{n}$ なので、$\bar{X}$ は有効推定量！
【Step 1】対数尤度
$$\log f(x; \mu) = -\frac{1}{2}\log(2\pi\sigma^2) – \frac{(x – \mu)^2}{2\sigma^2}$$
【Step 2】1次微分
$$\frac{\partial \log f}{\partial \mu} = \frac{x – \mu}{\sigma^2}$$
【Step 3】フィッシャー情報量
$$I(\mu) = E\left[\left(\frac{X – \mu}{\sigma^2}\right)^2\right] = \frac{V(X)}{\sigma^4} = \frac{\sigma^2}{\sigma^4} = \frac{1}{\sigma^2}$$
【Step 4】$n$ 個の観測値
$$I_n(\mu) = \frac{n}{\sigma^2}$$
【Step 5】クラメール・ラオ下界
$$V(\hat{\mu}) ≧ \frac{1}{I_n(\mu)} = \frac{\sigma^2}{n}$$
$\bar{X}$ の分散が $V(\bar{X}) = \dfrac{\sigma^2}{n}$ なので、$\bar{X}$ は有効推定量！
📝 練習問題
問題 1
不偏性の確認
$X_1, X_2$ が独立で $E(X_i) = \mu$、$V(X_i) = \sigma^2$ のとき、次の推定量は不偏推定量か？
(a) $\hat{\theta}_1 = \dfrac{X_1 + X_2}{2}$ (b) $\hat{\theta}_2 = \dfrac{2X_1 + X_2}{3}$
解答：
(a)
$$E(\hat{\theta}_1) = E\left(\frac{X_1 + X_2}{2}\right) = \frac{\mu + \mu}{2} = \mu$$ ⇒ 不偏推定量
(b)
$$E(\hat{\theta}_2) = E\left(\frac{2X_1 + X_2}{3}\right) = \frac{2\mu + \mu}{3} = \mu$$ ⇒ 不偏推定量
どちらも不偏推定量！
(a)
$$E(\hat{\theta}_1) = E\left(\frac{X_1 + X_2}{2}\right) = \frac{\mu + \mu}{2} = \mu$$ ⇒ 不偏推定量
(b)
$$E(\hat{\theta}_2) = E\left(\frac{2X_1 + X_2}{3}\right) = \frac{2\mu + \mu}{3} = \mu$$ ⇒ 不偏推定量
どちらも不偏推定量！
問題 2
相対効率
問題1の2つの推定量について、どちらが有効か？相対効率を求めよ。
解答：
【$\hat{\theta}_1$ の分散】
$$V(\hat{\theta}_1) = V\left(\frac{X_1 + X_2}{2}\right) = \frac{2\sigma^2}{4} = \frac{\sigma^2}{2}$$
【$\hat{\theta}_2$ の分散】
$$V(\hat{\theta}_2) = V\left(\frac{2X_1 + X_2}{3}\right) = \frac{4\sigma^2 + \sigma^2}{9} = \frac{5\sigma^2}{9}$$
$V(\hat{\theta}_1) = \dfrac{\sigma^2}{2} = \dfrac{4.5\sigma^2}{9} < \dfrac{5\sigma^2}{9} = V(\hat{\theta}_2)$
よって、$\hat{\theta}_1$ の方が有効！
【相対効率】
$$\text{eff} = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)} = \frac{5\sigma^2/9}{\sigma^2/2} = \frac{10}{9} \approx 1.11$$
【$\hat{\theta}_1$ の分散】
$$V(\hat{\theta}_1) = V\left(\frac{X_1 + X_2}{2}\right) = \frac{2\sigma^2}{4} = \frac{\sigma^2}{2}$$
【$\hat{\theta}_2$ の分散】
$$V(\hat{\theta}_2) = V\left(\frac{2X_1 + X_2}{3}\right) = \frac{4\sigma^2 + \sigma^2}{9} = \frac{5\sigma^2}{9}$$
$V(\hat{\theta}_1) = \dfrac{\sigma^2}{2} = \dfrac{4.5\sigma^2}{9} < \dfrac{5\sigma^2}{9} = V(\hat{\theta}_2)$
よって、$\hat{\theta}_1$ の方が有効！
【相対効率】
$$\text{eff} = \frac{V(\hat{\theta}_2)}{V(\hat{\theta}_1)} = \frac{5\sigma^2/9}{\sigma^2/2} = \frac{10}{9} \approx 1.11$$
問題 3
指数分布の最尤推定
$X_1, \ldots, X_n \sim \text{Exp}(\lambda)$ が独立のとき、$\lambda$ の最尤推定量を求めよ。
ただし、$f(x; \lambda) = \lambda e^{-\lambda x}$ $(x ≧ 0)$ である。
解答：
【Step 1】尤度関数
$$L(\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum x_i}$$
【Step 2】対数尤度
$$\ell(\lambda) = n \log \lambda – \lambda \sum x_i$$
【Step 3】微分
$$\frac{d\ell}{d\lambda} = \frac{n}{\lambda} – \sum x_i = 0$$
【Step 4】解く
$$\hat{\lambda} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}$$
$E(X) = 1/\lambda$ なので、$\lambda = 1/E(X)$ を推定している
【Step 1】尤度関数
$$L(\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum x_i}$$
【Step 2】対数尤度
$$\ell(\lambda) = n \log \lambda – \lambda \sum x_i$$
【Step 3】微分
$$\frac{d\ell}{d\lambda} = \frac{n}{\lambda} – \sum x_i = 0$$
【Step 4】解く
$$\hat{\lambda} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}$$
$E(X) = 1/\lambda$ なので、$\lambda = 1/E(X)$ を推定している
問題 4
一様分布の最尤推定
$X_1, \ldots, X_n \sim U(0, \theta)$ が独立のとき、$\theta$ の最尤推定量を求めよ。
解答：
【Step 1】尤度関数
$$L(\theta) = \prod_{i=1}^{n} \frac{1}{\theta} = \frac{1}{\theta^n}$$ （すべての $x_i ≦ \theta$ のとき）
$L(\theta) = 0$（いずれかの $x_i > \theta$ のとき）
【Step 2】最大化
$\theta$ を小さくするほど $L(\theta) = 1/\theta^n$ は大きくなるが、
$\theta ≧ \max\{x_1, \ldots, x_n\}$ が必要。
よって、
$$\hat{\theta} = \max\{X_1, \ldots, X_n\} = X_{(n)}$$
最大値が最尤推定量！（微分を使わない例）
【Step 1】尤度関数
$$L(\theta) = \prod_{i=1}^{n} \frac{1}{\theta} = \frac{1}{\theta^n}$$ （すべての $x_i ≦ \theta$ のとき）
$L(\theta) = 0$（いずれかの $x_i > \theta$ のとき）
【Step 2】最大化
$\theta$ を小さくするほど $L(\theta) = 1/\theta^n$ は大きくなるが、
$\theta ≧ \max\{x_1, \ldots, x_n\}$ が必要。
よって、
$$\hat{\theta} = \max\{X_1, \ldots, X_n\} = X_{(n)}$$
最大値が最尤推定量！（微分を使わない例）
問題 5
最尤推定量の不変性
問題3で、$E(X) = 1/\lambda$ であった。$\hat{\lambda} = 1/\bar{X}$ のとき、$1/\lambda$ の最尤推定量を求めよ。
解答：
不変性より、$g(\lambda) = 1/\lambda$ とすると、
$$g(\hat{\lambda}) = \frac{1}{\hat{\lambda}} = \frac{1}{1/\bar{X}} = \bar{X}$$
よって、$1/\lambda$ の最尤推定量は $\bar{X}$
実際、$E(X) = 1/\lambda$ なので、直感的にも正しい！
不変性より、$g(\lambda) = 1/\lambda$ とすると、
$$g(\hat{\lambda}) = \frac{1}{\hat{\lambda}} = \frac{1}{1/\bar{X}} = \bar{X}$$
よって、$1/\lambda$ の最尤推定量は $\bar{X}$
実際、$E(X) = 1/\lambda$ なので、直感的にも正しい！
問題 6
二項分布の十分統計量
$X_1, \ldots, X_n \sim B(1, p)$ が独立のとき、$T = \sum X_i$ が $p$ の十分統計量であることを因数分解定理で示せ。
解答：
【Step 1】尤度関数
$$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n – \sum x_i}$$
【Step 2】因数分解
これは $T = \sum X_i$ のみを通して $p$ に依存する。
$g(T, p) = p^T(1-p)^{n-T}$、$h(x) = 1$ とおけば、
$$L(p) = g(T, p) \cdot h(x)$$
よって、$T = \sum X_i$ は十分統計量。
【Step 1】尤度関数
$$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n – \sum x_i}$$
【Step 2】因数分解
これは $T = \sum X_i$ のみを通して $p$ に依存する。
$g(T, p) = p^T(1-p)^{n-T}$、$h(x) = 1$ とおけば、
$$L(p) = g(T, p) \cdot h(x)$$
よって、$T = \sum X_i$ は十分統計量。
問題 7
フィッシャー情報量の計算
$X \sim B(1, p)$ のとき、フィッシャー情報量 $I(p)$ を求めよ。
解答：
【Step 1】確率関数
$f(x; p) = p^x(1-p)^{1-x}$ $(x = 0, 1)$
【Step 2】対数尤度
$\log f = x \log p + (1-x)\log(1-p)$
【Step 3】1次微分
$$\frac{\partial \log f}{\partial p} = \frac{x}{p} – \frac{1-x}{1-p}$$
【Step 4】2乗の期待値
$$I(p) = E\left[\left(\frac{X}{p} – \frac{1-X}{1-p}\right)^2\right]$$
$X = 1$ のとき：$\left(\dfrac{1}{p}\right)^2$ が確率 $p$ で起こる
$X = 0$ のとき：$\left(\dfrac{1}{1-p}\right)^2$ が確率 $1-p$ で起こる
$$I(p) = p \cdot \frac{1}{p^2} + (1-p) \cdot \frac{1}{(1-p)^2} = \frac{1}{p} + \frac{1}{1-p} = \frac{1}{p(1-p)}$$
【Step 1】確率関数
$f(x; p) = p^x(1-p)^{1-x}$ $(x = 0, 1)$
【Step 2】対数尤度
$\log f = x \log p + (1-x)\log(1-p)$
【Step 3】1次微分
$$\frac{\partial \log f}{\partial p} = \frac{x}{p} – \frac{1-x}{1-p}$$
【Step 4】2乗の期待値
$$I(p) = E\left[\left(\frac{X}{p} – \frac{1-X}{1-p}\right)^2\right]$$
$X = 1$ のとき：$\left(\dfrac{1}{p}\right)^2$ が確率 $p$ で起こる
$X = 0$ のとき：$\left(\dfrac{1}{1-p}\right)^2$ が確率 $1-p$ で起こる
$$I(p) = p \cdot \frac{1}{p^2} + (1-p) \cdot \frac{1}{(1-p)^2} = \frac{1}{p} + \frac{1}{1-p} = \frac{1}{p(1-p)}$$
問題 8
クラメール・ラオ下界
問題7の結果を用いて、$n$ 個の独立な観測値から $p$ を推定するとき、不偏推定量の分散の下限を求めよ。
解答：
$I(p) = \dfrac{1}{p(1-p)}$ より、
$$I_n(p) = n \cdot I(p) = \frac{n}{p(1-p)}$$
【クラメール・ラオ下界】
$$V(\hat{p}) ≧ \frac{1}{I_n(p)} = \frac{p(1-p)}{n}$$
標本比率 $\hat{p} = \dfrac{1}{n}\sum X_i$ の分散は、
$$V(\hat{p}) = \frac{p(1-p)}{n}$$
よって、$\hat{p}$ は有効推定量！
$I(p) = \dfrac{1}{p(1-p)}$ より、
$$I_n(p) = n \cdot I(p) = \frac{n}{p(1-p)}$$
【クラメール・ラオ下界】
$$V(\hat{p}) ≧ \frac{1}{I_n(p)} = \frac{p(1-p)}{n}$$
標本比率 $\hat{p} = \dfrac{1}{n}\sum X_i$ の分散は、
$$V(\hat{p}) = \frac{p(1-p)}{n}$$
よって、$\hat{p}$ は有効推定量！
問題 9
最尤推定量の漸近正規性
$\hat{\lambda}$ が $\lambda$ の最尤推定量のとき、$\sqrt{n}(\hat{\lambda} – \lambda)$ の漸近分布は？（フィッシャー情報量 $I(\lambda)$ を使って表せ）
解答：
最尤推定量の漸近正規性より、
$$\sqrt{n}(\hat{\lambda} – \lambda) \xrightarrow{d} N\left(0, \frac{1}{I(\lambda)}\right)$$
または、
$$\hat{\lambda} \xrightarrow{d} N\left(\lambda, \frac{1}{n \cdot I(\lambda)}\right)$$
大標本では、最尤推定量は近似的に正規分布に従い、
その分散はクラメール・ラオ下界に達する（漸近有効性）
最尤推定量の漸近正規性より、
$$\sqrt{n}(\hat{\lambda} – \lambda) \xrightarrow{d} N\left(0, \frac{1}{I(\lambda)}\right)$$
または、
$$\hat{\lambda} \xrightarrow{d} N\left(\lambda, \frac{1}{n \cdot I(\lambda)}\right)$$
大標本では、最尤推定量は近似的に正規分布に従い、
その分散はクラメール・ラオ下界に達する（漸近有効性）
問題 10
推定量の比較（総合）
正規母集団 $N(\mu, 9)$ から標本 $X_1, X_2, X_3, X_4$ を抽出。次の3つの推定量を比較せよ：
$\hat{\theta}_1 = \bar{X}$、$\hat{\theta}_2 = \dfrac{X_1 + X_2 + X_3 + X_4}{4}$、$\hat{\theta}_3 = \dfrac{X_1 + X_4}{2}$
(a) 不偏性、(b) 一致性、(c) 有効性
解答：
(a) 不偏性：
$E(\hat{\theta}_1) = E(\hat{\theta}_2) = E(\hat{\theta}_3) = \mu$
⇒ すべて不偏推定量
(b) 一致性：
$V(\hat{\theta}_1) = V(\hat{\theta}_2) = 9/4 \to 0$ $(n \to \infty)$
$V(\hat{\theta}_3) = 9/2 \to 0$ $(n \to \infty)$
⇒ すべて一致推定量（$n$ が増えれば分散が減る）
(c) 有効性：
$V(\hat{\theta}_1) = V(\hat{\theta}_2) = 9/4 < V(\hat{\theta}_3) = 9/2$
⇒ $\hat{\theta}_1$ と $\hat{\theta}_2$ が最も有効
結論：$\hat{\theta}_1$（標本平均）が最も良い推定量！
（$\hat{\theta}_1 = \hat{\theta}_2$ なので同じ）
(a) 不偏性：
$E(\hat{\theta}_1) = E(\hat{\theta}_2) = E(\hat{\theta}_3) = \mu$
⇒ すべて不偏推定量
(b) 一致性：
$V(\hat{\theta}_1) = V(\hat{\theta}_2) = 9/4 \to 0$ $(n \to \infty)$
$V(\hat{\theta}_3) = 9/2 \to 0$ $(n \to \infty)$
⇒ すべて一致推定量（$n$ が増えれば分散が減る）
(c) 有効性：
$V(\hat{\theta}_1) = V(\hat{\theta}_2) = 9/4 < V(\hat{\theta}_3) = 9/2$
⇒ $\hat{\theta}_1$ と $\hat{\theta}_2$ が最も有効
結論：$\hat{\theta}_1$（標本平均）が最も良い推定量！
（$\hat{\theta}_1 = \hat{\theta}_2$ なので同じ）
問題 11
幾何分布の最尤推定
$X \sim \text{Geo}(p)$ のとき、$P(X = x) = p(1-p)^{x-1}$ $(x = 1, 2, \ldots)$ である。$n$ 個の独立な観測値から $p$ の最尤推定量を求めよ。
解答：
【Step 1】尤度関数
$$L(p) = \prod_{i=1}^{n} p(1-p)^{x_i-1} = p^n(1-p)^{\sum x_i – n}$$
【Step 2】対数尤度
$$\ell(p) = n \log p + (\sum x_i – n)\log(1-p)$$
【Step 3】微分
$$\frac{d\ell}{dp} = \frac{n}{p} – \frac{\sum x_i – n}{1-p} = 0$$
【Step 4】解く
$n(1-p) = p(\sum x_i – n)$
$n = p \sum x_i$
$$\hat{p} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}$$
$E(X) = 1/p$ なので、直感的にも正しい！
【Step 1】尤度関数
$$L(p) = \prod_{i=1}^{n} p(1-p)^{x_i-1} = p^n(1-p)^{\sum x_i – n}$$
【Step 2】対数尤度
$$\ell(p) = n \log p + (\sum x_i – n)\log(1-p)$$
【Step 3】微分
$$\frac{d\ell}{dp} = \frac{n}{p} – \frac{\sum x_i – n}{1-p} = 0$$
【Step 4】解く
$n(1-p) = p(\sum x_i – n)$
$n = p \sum x_i$
$$\hat{p} = \frac{n}{\sum x_i} = \frac{1}{\bar{X}}$$
$E(X) = 1/p$ なので、直感的にも正しい！
問題 12
多項分布の最尤推定
サイコロを $n$ 回投げて、1の目が $n_1$ 回、2の目が $n_2$ 回、…、6の目が $n_6$ 回出た。各目が出る確率 $p_1, \ldots, p_6$（$\sum p_i = 1$）の最尤推定量を求めよ。
解答：
【Step 1】尤度関数（多項分布）
$$L(p_1, \ldots, p_6) \propto p_1^{n_1} p_2^{n_2} \cdots p_6^{n_6}$$
【Step 2】制約条件
$\sum p_i = 1$
【Step 3】ラグランジュの未定乗数法
$$\ell = \sum n_i \log p_i + \lambda(\sum p_i – 1)$$ $$\frac{\partial \ell}{\partial p_i} = \frac{n_i}{p_i} + \lambda = 0$$
【Step 4】解く
$p_i = -n_i/\lambda$
$\sum p_i = 1$ より、$-\sum n_i/\lambda = 1$
$\lambda = -n$
よって、$\hat{p}_i = n_i/n$（相対度数）
【Step 1】尤度関数（多項分布）
$$L(p_1, \ldots, p_6) \propto p_1^{n_1} p_2^{n_2} \cdots p_6^{n_6}$$
【Step 2】制約条件
$\sum p_i = 1$
【Step 3】ラグランジュの未定乗数法
$$\ell = \sum n_i \log p_i + \lambda(\sum p_i – 1)$$ $$\frac{\partial \ell}{\partial p_i} = \frac{n_i}{p_i} + \lambda = 0$$
【Step 4】解く
$p_i = -n_i/\lambda$
$\sum p_i = 1$ より、$-\sum n_i/\lambda = 1$
$\lambda = -n$
よって、$\hat{p}_i = n_i/n$（相対度数）
問題 13
負の二項分布のモーメント法
$X \sim NB(r, p)$ のとき、$E(X) = r(1-p)/p$、$V(X) = r(1-p)/p^2$ である。モーメント法で $p$ と $r$ を推定する式を導出せよ。
解答：
【Step 1】モーメント方程式
$\bar{X} = r(1-p)/p$
$S^2 = r(1-p)/p^2$
【Step 2】第2式÷第1式
$$\frac{S^2}{\bar{X}} = \frac{r(1-p)/p^2}{r(1-p)/p} = \frac{1}{p}$$ よって、$\hat{p} = \bar{X}/S^2$
【Step 3】第1式に代入
$\bar{X} = r(1-\hat{p})/\hat{p}$
$$\hat{r} = \frac{\bar{X}\hat{p}}{1-\hat{p}} = \frac{\bar{X}^2}{S^2 – \bar{X}}$$
【Step 1】モーメント方程式
$\bar{X} = r(1-p)/p$
$S^2 = r(1-p)/p^2$
【Step 2】第2式÷第1式
$$\frac{S^2}{\bar{X}} = \frac{r(1-p)/p^2}{r(1-p)/p} = \frac{1}{p}$$ よって、$\hat{p} = \bar{X}/S^2$
【Step 3】第1式に代入
$\bar{X} = r(1-\hat{p})/\hat{p}$
$$\hat{r} = \frac{\bar{X}\hat{p}}{1-\hat{p}} = \frac{\bar{X}^2}{S^2 – \bar{X}}$$
問題 14
ベータ分布のモーメント法
$X \sim \text{Beta}(\alpha, \beta)$ のとき、$E(X) = \alpha/(\alpha+\beta)$、$V(X) = \alpha\beta/\{(\alpha+\beta)^2(\alpha+\beta+1)\}$ である。$\alpha$、$\beta$ をモーメント法で推定する式を導出せよ。
解答：
【Step 1】モーメント方程式
$\bar{X} = \alpha/(\alpha+\beta)$
$S^2 = \alpha\beta/\{(\alpha+\beta)^2(\alpha+\beta+1)\}$
【Step 2】第1式から
$\alpha = \bar{X}(\alpha+\beta)$
$\alpha(1 – \bar{X}) = \bar{X}\beta$
$\beta = \alpha(1-\bar{X})/\bar{X}$
【Step 3】$S^2$ の式に代入して解くと
$$\hat{\alpha} = \bar{X}\left(\frac{\bar{X}(1-\bar{X})}{S^2} – 1\right)$$ $$\hat{\beta} = (1-\bar{X})\left(\frac{\bar{X}(1-\bar{X})}{S^2} – 1\right)$$
【Step 1】モーメント方程式
$\bar{X} = \alpha/(\alpha+\beta)$
$S^2 = \alpha\beta/\{(\alpha+\beta)^2(\alpha+\beta+1)\}$
【Step 2】第1式から
$\alpha = \bar{X}(\alpha+\beta)$
$\alpha(1 – \bar{X}) = \bar{X}\beta$
$\beta = \alpha(1-\bar{X})/\bar{X}$
【Step 3】$S^2$ の式に代入して解くと
$$\hat{\alpha} = \bar{X}\left(\frac{\bar{X}(1-\bar{X})}{S^2} – 1\right)$$ $$\hat{\beta} = (1-\bar{X})\left(\frac{\bar{X}(1-\bar{X})}{S^2} – 1\right)$$
問題 15
推定理論の総合問題
「良い推定量」の3つの基準（不偏性・一致性・有効性）の関係と、それぞれが重要な理由を説明せよ。
解答：
【1. 不偏性（$E(\hat{\theta}) = \theta$）】
・系統的な偏りがないことを保証
・平均的には正しい値を推定
・小標本でも重要
【2. 一致性（$\hat{\theta} \xrightarrow{p} \theta$）】
・データが増えれば真値に近づくことを保証
・漸近的な正しさ
・大標本理論で重要
【3. 有効性（$V(\hat{\theta})$ が小さい）】
・推定のばらつきが小さい
・より信頼できる推定
・実用上最も重要
【関係】
・不偏性と一致性は独立（不偏だが非一致な例もある）
・不偏推定量の中で、分散が最小のものが最も有効
・最尤推定量は、大標本で漸近的に有効
【実務的な優先度】
一致性 > 有効性 > 不偏性の順で重要とされることが多い
【1. 不偏性（$E(\hat{\theta}) = \theta$）】
・系統的な偏りがないことを保証
・平均的には正しい値を推定
・小標本でも重要
【2. 一致性（$\hat{\theta} \xrightarrow{p} \theta$）】
・データが増えれば真値に近づくことを保証
・漸近的な正しさ
・大標本理論で重要
【3. 有効性（$V(\hat{\theta})$ が小さい）】
・推定のばらつきが小さい
・より信頼できる推定
・実用上最も重要
【関係】
・不偏性と一致性は独立（不偏だが非一致な例もある）
・不偏推定量の中で、分散が最小のものが最も有効
・最尤推定量は、大標本で漸近的に有効
【実務的な優先度】
一致性 > 有効性 > 不偏性の順で重要とされることが多い
📌 Step 6のまとめ
- 推定量の評価基準（不偏性・一致性・有効性）を理解した
- 最尤推定法の考え方と計算方法を習得した
- モーメント法による推定ができるようになった
- 十分統計量とラオ・ブラックウェルの定理を理解した
- フィッシャー情報量とクラメール・ラオの不等式を学んだ
学習メモ
統計検定準1級対策 - Step 6
📋 過去のメモ一覧
▼