안녕하세요 교수님. 시험공부하는 와중에, 궁금한 점이 있어서 올리겠습니다.
1. LM Test의 TR^2 를 이용하는 Test 방법에서,
그것을 유도하기 위해서 (A.5)가정, 즉 normality가정을 이용한 것으로 알고 있습니다.(그래야 Score와 information Matrix가, X'u/sigma^2 등이 나오니까요..)
그런데, 이후에 있는 LM Test에서는 엡실론_t의 가정은 iid[0,sigma^2]만 있고, Normality가정은 없는 상태에서 그대로 TR^2 방법을 이용해서, Test를 했는데요.
그러면, (A.5)가정은.. 어떻게 된 것인지.. 나름 생각해 보았는데요.
혹시, 오차항이 서로 iid이니까.. CLT를 이용해서, 근사적으로 Normal임을 암묵적으로 사용한 것이 아닌가 생각합니다.
2. 그리고, 이걸 생각하면서 한가지 더 생각해 보았는데요.
MLE를 추정하기 위해서는, pdf를 정확히 알아야 추정치가 나오는 것으로 알고있습니다.
그런데, 오차항이 정규분포라는 가정이 없을 경우,
오차항이 iid라는 가정이 있으면, CLT를 이용해서, 오차항의 pdf를 정규분포라고 해서 MLE를 추정할 수 있는 것인가요??
3. 만약 가능하다면, 이때의 오차항의 분포는 CLT를 적용하면 Root (T) (e bar) d-> N[0, sigma^2]가 되어,
e bar A~ N[0, sigma^2/T] 가 되어서,
Small Sample에서의 (A.5)에서 가정한 N[0.sigma^2]와는 Variance부분에서, 약간 차이가 있게 됩니다.
하지만, 수업시간에 했던 LM Test에서는, 가설이 모두 Mean parameter에 대해서만 나오고, Varinace parameter는 영향을 주지 않기 때문에..
굳이 Varinace부분은 따질 필요가 없던 것이 아닌지..궁금합니다.
혹시 아니면, T도 어차피 상수이기 때문에, 크게 대세에 영향을 주는 것은 아니지 않을까...(아예 sigma^2/T = sigma^2라고 해서 다시 변수 재지정)
이런 저런 생각이 많이 납니다.
(솔직히, 이 부분은 제가 삼천포로 빠진 거 같습니다...)
4. 결론적으로, 오차항이 정규분포 가정이 없을 경우, MLE의 추정치를 구하는 방법은 어떻게 되는 것인지 궁금합니다.
추운 겨울.. 감기 조심하십시오.
열정적인 강의 진심으로 감사드립니다.
2. 그리고, 이걸 생각하면서 한가지 더 생각해 보았는데요.
MLE를 추정하기 위해서는, pdf를 정확히 알아야 추정치가 나오는 것으로 알고있습니다.
그런데, 오차항이 정규분포라는 가정이 없을 경우,
오차항이 iid라는 가정이 있으면, CLT를 이용해서, 오차항의 pdf를 정규분포라고 해서 MLE를 추정할 수 있는 것인가요??
*************************
일반적으로는 그렇지 않음. QMLE를 수행하는 것에 해당. 모형에 따라 정규분포 가정하의 MLE와 결과가 같은 경우가 있을 수 있으나 그렇지 않은 경우도 있을 수 있음.
아 그렇군요~ 감사합니다.
한가지 더 질문드리면요...
그러면.. 일반적으로 현실에서 회귀분석을 할 때..
QMLE를 수행하고 난 뒤, 과연 이것이 MLE와 동일한지, 여길만한 근거를 어디에서 찾을 수 있나요??
이런 Test를 할 수 있는 것이 있나요??
(혹시, 이것이, 수업시간에 잠깐 말씀해주신, Information matrix equality test..가 아닌지... 조심스럽게 추측을...^^a;)
그리고, 혹시 그런 Test를 통해, QMLE가 MLE와 동일하다는 결과를 얻게 되면..
이 모형이 Classical Assumption을 만족한다고 볼 수 있을까요?(물론, Large Sample이라는 가정 하에..)
1. LM Test의 TR^2 를 이용하는 Test 방법에서,
그것을 유도하기 위해서 (A.5)가정, 즉 normality가정을 이용한 것으로 알고 있습니다.(그래야 Score와 information Matrix가, X'u/sigma^2 등이 나오니까요..)
그런데, 이후에 있는 LM Test에서는 엡실론_t의 가정은 iid[0,sigma^2]만 있고, Normality가정은 없는 상태에서 그대로 TR^2 방법을 이용해서, Test를 했는데요.
그러면, (A.5)가정은.. 어떻게 된 것인지.. 나름 생각해 보았는데요.
혹시, 오차항이 서로 iid이니까.. CLT를 이용해서, 근사적으로 Normal임을 암묵적으로 사용한 것이 아닌가 생각합니다.
************************
Note에서의 LM test는 모두 오차항의 normality를 가정하고 얻어진 것임. 그러한 환경에서는 LM test는 optimality를 지님. 그러나 LM test가 그러한 환경에 국한되어 쓰이는 것은 또한 아님. 예를들어 QMLE의 상황에서도 LM test 를 구축하여 수행할 수 있음. 단 이 경우 LM test가 asymptotically chi-square test인 것은 유지되지만 일반적으로 가장 powerful한 test는 아님.
Classical assumption 들을 만족하는 linear모형의 경우 오차항이 iid이고 설명변수들이 large sample theory를 적용할 수 있는 표준적인 상황에서는 TR^2 형태의 LM test를 사용할 수 있음.