문제 원문

제2문 · 15점

제 2 문. 회귀 모형 $Y_i = 2024 + \beta x_i + \varepsilon_i$, $i = 1, 2, \ldots, n$에서 오차항 $\varepsilon_i$는 서로 독립이고, 평균 0, 분산 $\sigma^2$인 정규분포를 따른다. 다음 물음에 답하시오. (단, $x_i$는 상수) (총 15점) 1) $\beta$와 $\sigma^2$의 최대가능도추정량(maximum likelihood estimator) $\hat\beta$과 $\hat\sigma^2$을 각각 구하시오. (5점) 2) 가설 $H_0: \beta = 0$ 대 $H_1: \beta \ne 0$에 대한 가능도비 검정통계량(likelihood ratio test statistic) $\Lambda = \dfrac{L(\hat\beta, \hat\sigma^2)}{L(\hat\beta_0, \hat\sigma_0^2)}$ 을 구하고, 유의수준 $\alpha$에서 기각역을 구하시오. (단, $L(\beta, \sigma^2)$은 가능도함수(likelihood function)이고, $\hat\beta_0$과 $\hat\sigma_0^2$은 귀무가설이 참일 때 최대가능도추정량이다) (10점) ※ 수식은 문제지의 수식 객체를 옮겨 적은 것입니다.

핵심 논점

  1. $U_i = Y_i - 2024$로 두면 원점을 지나는 회귀 $U_i = \beta x_i + \varepsilon_i$가 됩니다

  2. $\hat\beta = \sum x_iU_i / \sum x_i^2$, $\hat\sigma^2 = \frac{1}{n}\sum (U_i - \hat\beta x_i)^2$입니다

  3. $\Lambda = (\hat\sigma_0^2/\hat\sigma^2)^{n/2} = \left(1 + \frac{T^2}{n-1}\right)^{n/2}$이고 $T$는 귀무가설에서 $t(n-1)$을 따릅니다

  4. 기각역은 $|T| \ge t_{\alpha/2}(n-1)$ (동치로 $T^2 \ge F_\alpha(1, n-1)$)입니다

답안 목차

  • Ⅰ. 최대가능도추정량 (5점)
    • 로그가능도 $\ell = -\frac{n}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum(U_i - \beta x_i)^2$
    • $\hat\beta = \sum x_iU_i/\sum x_i^2$, $\hat\sigma^2 = \frac{1}{n}\sum(U_i - \hat\beta x_i)^2$
  • Ⅱ. 가능도비 검정 (10점)
    • 귀무가설하 추정량: $\hat\beta_0 = 0$, $\hat\sigma_0^2 = \frac{1}{n}\sum U_i^2$
    • 최대 가능도 $L = (2\pi\hat\sigma^2)^{-n/2}e^{-n/2}$ → $\Lambda = (\hat\sigma_0^2/\hat\sigma^2)^{n/2}$
    • 제곱합 분해 → $T$ 통계량과의 단조 관계
    • $T \sim t(n-1)$, 기각역

해설

1) 최대가능도추정량

$U_i = Y_i - 2024$로 두면 $U_i = \beta x_i + \varepsilon_i$이고 $U_i \sim N(\beta x_i, \sigma^2)$이 서로 독립입니다. 로그가능도함수는

$$\ell(\beta, \sigma^2) = -\frac{n}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (U_i - \beta x_i)^2$$

입니다. $\beta$로 미분하여 0으로 두면 $\sum x_i(U_i - \beta x_i) = 0$이므로

$$\hat\beta = \frac{\sum x_i (Y_i - 2024)}{\sum x_i^2}$$

이고(단, $\sum x_i^2 > 0$), $\sigma^2$로 미분하여 0으로 두면

$$\hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n \left(Y_i - 2024 - \hat\beta x_i\right)^2$$

입니다. $\hat\sigma^2$은 $n$으로 나누므로 불편추정량이 아닙니다(불편추정량은 $n-1$로 나눈 $S^2$).

2) 가능도비 검정통계량과 기각역

귀무가설하의 추정량. $\beta = 0$이면 $U_i \sim N(0, \sigma^2)$이므로 $\hat\beta_0 = 0$, $\hat\sigma_0^2 = \frac{1}{n}\sum U_i^2 = \frac{1}{n}\sum (Y_i - 2024)^2$입니다.

최대 가능도의 값. 추정량을 대입하면 지수 부분이 $-\frac{n\hat\sigma^2}{2\hat\sigma^2} = -\frac{n}{2}$이 되므로

$$L(\hat\beta, \hat\sigma^2) = (2\pi\hat\sigma^2)^{-n/2}e^{-n/2}, \qquad L(\hat\beta_0, \hat\sigma_0^2) = (2\pi\hat\sigma_0^2)^{-n/2}e^{-n/2}$$

이고

$$\Lambda = \frac{L(\hat\beta, \hat\sigma^2)}{L(\hat\beta_0, \hat\sigma_0^2)} = \left(\frac{\hat\sigma_0^2}{\hat\sigma^2}\right)^{n/2} \ge 1$$

입니다.

제곱합 분해. 정규방정식 $\sum x_i(U_i - \hat\beta x_i) = 0$을 이용하면

$$\sum U_i^2 = \sum (U_i - \hat\beta x_i)^2 + \hat\beta^2 \sum x_i^2$$

이므로

$$\frac{\hat\sigma_0^2}{\hat\sigma^2} = 1 + \frac{\hat\beta^2\sum x_i^2}{\sum (U_i - \hat\beta x_i)^2} = 1 + \frac{T^2}{n-1}, \qquad T = \frac{\hat\beta}{S/\sqrt{\sum x_i^2}}, \quad S^2 = \frac{\sum (U_i - \hat\beta x_i)^2}{n-1}$$

입니다. 따라서 검정통계량은

$$\Lambda = \left(1 + \frac{T^2}{n-1}\right)^{n/2}$$

기각역. $\Lambda$가 클수록(대립가설의 가능도가 상대적으로 클수록) 귀무가설을 기각하며, $\Lambda$는 $|T|$의 증가함수이므로 $\Lambda \ge c$와 $|T| \ge k$는 같은 기각역입니다. 귀무가설하에서 $\hat\beta \sim N(0, \sigma^2/\sum x_i^2)$, $(n-1)S^2/\sigma^2 \sim \chi^2(n-1)$이고 둘은 독립이므로 $T \sim t(n-1)$입니다. 유의수준 $\alpha$의 기각역은

$$|T| = \frac{|\hat\beta|\sqrt{\sum x_i^2}}{S} \ge t_{\alpha/2}(n-1)$$

이며, $\Lambda$로 쓰면 $\Lambda \ge \left(1 + \frac{t_{\alpha/2}(n-1)^2}{n-1}\right)^{n/2}$입니다. 동치로 $T^2 = \frac{\hat\beta^2\sum x_i^2}{S^2} \ge F_\alpha(1, n-1)$로 쓸 수도 있습니다. 표본이 크면 $2\ln\Lambda$가 근사적으로 $\chi^2(1)$을 따른다는 점도 덧붙일 수 있습니다.

자유도가 $n-1$인 이유는 절편이 2024로 고정되어 추정하는 회귀계수가 $\beta$ 하나뿐이기 때문입니다. 절편을 추정하는 일반 단순회귀의 $n-2$와 혼동하지 않아야 합니다.

풀이 요령

  • 상수 2024를 먼저 좌변으로 옮겨 원점을 지나는 회귀로 바꾸면 계산이 훨씬 간단해집니다.
  • 가능도비는 '최대 가능도 = $(2\pi\hat\sigma^2)^{-n/2}e^{-n/2}$'라는 사실을 쓰면 분산 추정량의 비로 바로 정리됩니다.
  • 이 문제의 $\Lambda$는 분자가 비제약 가능도이므로 1 이상이고 큰 값에서 기각합니다. 문헌에 따라 분자·분모를 반대로 정의하기도 하므로 문제의 정의를 따르십시오.

채점 포인트

  • 로그가능도를 세우고 β̂와 σ̂²(n으로 나눔)를 정확히 도출하는가

  • 귀무가설하 추정량 β̂₀ = 0, σ̂₀² = Σ(Yᵢ−2024)²/n을 제시하는가

  • Λ = (σ̂₀²/σ̂²)^{n/2}로 정리하는가

  • 제곱합 분해로 Λ를 T 통계량의 단조함수로 나타내는가

  • T ~ t(n−1)를 근거와 함께 제시하고 기각역 |T| ≥ t_{α/2}(n−1)을 구하는가

관련 개념

  • 최대가능도추정
  • 가능도비 검정
  • 원점회귀
  • t 분포
  • F 분포
  • 제곱합 분해

서술형 시험에는 공식 정답이 없습니다. 해설과 채점 포인트는 답안 작성을 위한 참고 자료입니다.