역시 계량을 듣고 있는 학생으로... 허접한 답변입니다.
1) joint PDF 와 marginal PDF 에 대한 혼동 같습니다.
7th강생이 님이 말씀하신 것과 노트의 표기는 차이가 없다고 생각합니다. 일단, 가정에 의해 Ut에 관한 공분산이 0이기 때문에 결합과 주변확률밀도함수에 담겨 있는 정보의 차이는 없다는 것을 알고 계실 겁니다. (p.22의 exercise)
따라서 “Ut는 정규분포를 따른다”와 “Ut는 다변량정규분포를 따른다” 는 실제적으론 같은 말입니다.
2) Likelihood function(LF) 에서 분산을 구하는 과정을 보시면,
역시 A1~A5의 가정에 기초하고 있습니다. 따라서 LF에는 분산이 포함되어 있습니다. 또한 그것의 우도함수를 2차미분을 하게 되면 표준편차가 0보다 큰 범위에서는 위로 볼록한 형태의 함수임을 알 수 있습니다. 따라서 분산으로 우도함수를 편미분한 것은 분산축을 따라 그려져 있는 우도함수중에서 그것을 최대화하는 분산을 구하기 위함입니다.(이는 최우추정법의 개념)
즉, 최우추정법에서 편미분을 통해 분산을 구할 수 있었던 것은 LF자체에 분산 term을 가지고 있었기 때문에 가능했던 것입니다.
반면 OLS에서는 Ut에 대한 가정이 있습니다.
여기에서 잠시 생각해봐야 하는 것은 분산이란 어떤 것을 말하나인데 여기에서 말하는 분산은 ut의 분산을 말합니다. 왜냐하면 y를 예측하는데에 알파와 베타(하늘나라계수)가 이용되고 그것을 통해 y를 구했다 치더라도 그것에는 오차가 존재하기 때문입니다. 즉, 오차의 변동성을 설명해주는 것이 분산입니다.
이러한 관점에서 하늘나라의 분산을 예측하기 위해 우리가 사용할 수 있는 것은 et인데 그것의 형태는 p.47에 나와 있습니다. 그리고 그 형태가 직관적을 로 합당하게 느껴집니다. 왜냐하면 OLS에 의한 추정치 알파 햇, 베타 헷은 unbiased 인 것을 알기 때문에 하늘나라 모형에 대해 적절한 설명이 되었다고 말할 수 있습니다. 그리고 et는 하늘나라의 모형이 가지고 있던 오차와 OLS의 예측오차의 합으로 볼 수 있을 것입니다.
이러한 관점에서 조금만 더 생각해 보시면 이해가 되시리라 생각합니다. 그리고 왜 n-k로 나누느냐는 stock&watson 책에 설명이 되어있습니다. 그 설명은 직관적이어서 이해하시기 편하시리라 생각합니다. 그런데.. 수학적인 증명은 찾아도 나오질 않는다는...........제가 못 찾는 것인지....
3) 3번은 솔직히 질문이 잘 이해가 되질 않는군요...... ㅡㅡ;
회귀계수의 유의성을 검정하는 것의 개념은 하늘나라의 베타를 우리가 추측컨데 베타=2 다 라고 주장하고 싶을 때 OLS추정량 베타 햇을 이용하여 기각하는냐 마느냐를 결정하는 것입니다. 이런 관점에서... 3번의 질문이 잘 이해가 안 되네요... 그리고 표기탐색과 어떤 관련이 있는지도................... 잘.......................... ㅡㅡ;
이상 ... 허접 답변입니다. (맞나.....)
>1)p.41~42
>통상최소자승추정량의 성질은 모집단의 성질과 표본추출과정에 의존한다고
>하여 모집단의 성질과 표본추출과정에 대한 5가지 가정이 노트에 있는데요.
>
>강의 내용을 복습하는 과정에서 들었던 의문 중에..
>가정들 중에서 5번째 가정, "Ut는 정규분포를 따른다"가 "Ut는 다변량정규
>분포를 따른다"로 바뀌어야 교수님 강의 노트에 표현된 논리가 좀더 매끄럽게
>넘어가지 않나 생각하게 되었습니다.
>
>즉, p.42상단부분에서 (A.2)~(A.5)를 결합하여 도출되는 표현은 다음과 같은
>과정을 거쳐서 나온 것이 아닌가 하고 생각하게 되었습니다.
>-->Ut가 다변량정규분포를 따르고 & A.4가 성립하면 Ut와 Us는 확률적독립.
>따라서 Ut ~iidN(...) 성립하고, (A.2)와 (A.3)에 의해 Ut ~iidN(0.시그마제곱)
>
>제가 이해한 바로는, “Ut는 정규분포를 따른다”의 의미는 Ut 각각의 주변확률
>밀도함수가 정규확률밀도함수, “Ut는 다변량정규분포를 따른다”의 의미는
>Ut(t=1...n)의 결합확률밀도함수가 p.22 상단부에 나온 사과2개 딸린 표현일때
>를 의미.
>따라서 “Ut는 정규분포를 따른다”와 “Ut는 다변량정규분포를 따른다”는
>엄연히 다른 의미를 지니고 있으며, “Ut는 정규분포를 따른다”를 (A.5)로
>했을 때 “p.42상단부분에 표시된 (A.2)~(A.5)를 결합하여 도출되는 표현”
>이 논리적으로 도출되진 않는다는 생각이 들었습니다^^;;
>
>2) Ut의 모분산인 시그마제곱의 추정량과 관련해서....
>최우추정법에 의하면 목적함수(로그우도함수)를 최대화하는 과정에서 모집단의
>모수인 알파, 베타, 시그마제곱으로 편미분하여 각각의 모수의 추정량을 구하게
>되고,
>최소자승법에 의하면 목적함수(잔차제곱의 합)을 최소화하는 과정에서
>모집단의 모수인 알파, 베타로 편미분해서 알파와 베타의 추정량만이 도출되게
>되는데요. 여기서 모집단의 분산인 시그마제곱의 추정량으로서
>(잔차제곱합/자유도)의 도출은 어떻게 이루어지는지 문득 궁금해졌습니다.
>
>즉, 최우추정법에서 시그마제곱의 추정량이 도출되는 과정처럼, 혹은 양쪽 모두의
>추정법에서 모수 알파와 베타의 추정량이 도출되는 과정처럼 목적함수(잔차제곱합)
>를 해당 모수인 시그마제곱으로 편미분해서 추정량이 도출되어야 할 거 같은데요.
>막상 잔차제곱합을 모수인 시그마제곱으로 편미분하게되면 0이 나오고...;;
>최소자승법과 최우추정법에서 모수를 추정할 때 오차항의 분산 부분에 있어서는
>서로 대칭이 이루어지지 않는다는 느낌이 듭니다.
>
>이것 말고도 지난 토요일 보강수업(표기탐색) 이후에 혼란을 많이 느끼게 된 점이
>있는데요. 어떠한 회귀모형의 회귀계수의 유의성을 검정할 때, 예를 들면 단순회귀
>에서 베타의 추정량 베타햇을 구한 후, 만약 t-test의 실시결과 귀무가설이 기각되지
>못한다고 하면, 모집단의 진정한 모습은 설명변수를 포함한 일반적인 단순회귀
>모형이 아닌 상수항과 오차항만의 회귀모형으로 받아들여야 하는건지 궁금합니다.
>만약 t-test 결과 상수항과 오차항만의 회귀모형이 진정한 모집단의 모습이라면,
>p.42 끝줄에 있는, Yt에 대입되어야 할 모집단 모습이 잘못되어 있게 되는 것이고
>그럼 결국은 잘못된 모집단의 모습을 대입하여 구해진 추정량 베타헷은 잘못된
>추정량이 되어 앞서 시행한 t-test는 유의하지 않은 검정이 되어버리는 것은 아닌가
>라는 생각이 듭니다.
>결국 회귀계수에 대한 t-test결과 귀무가설이 기각된다면 전혀 문제될 게 없지만
>기각되지 못할 경우에는 뭔가 이상하게 흘러가는 것 같습니다.
>이 부분은 적절한 모형을 찾는 과정과 회귀계수의 유의성을 검정하는 과정이
>서로 무관한 과정인지 아니면 연관된 과정인지, 혹은 유의성을 검정하는 과정은
>적절하게 찾아진 모형을 단순하게 사후 확인하는 과정인지, 적절한 모형을 찾는
>과정에는 무엇이 있는지에 대한 의문과도 연결되어 있는 거 같습니다...;;
>
>이러한 의문이 제가 교수님의 손을 놓치고 산위로 올라가는 것은 아닌지 심히
>걱정이 됩니다..;;
>
>표기탐색 이후로 심히 혼란스러워진 강생이었습니다..
1) joint PDF 와 marginal PDF 에 대한 혼동 같습니다.
7th강생이 님이 말씀하신 것과 노트의 표기는 차이가 없다고 생각합니다. 일단, 가정에 의해 Ut에 관한 공분산이 0이기 때문에 결합과 주변확률밀도함수에 담겨 있는 정보의 차이는 없다는 것을 알고 계실 겁니다. (p.22의 exercise)
따라서 “Ut는 정규분포를 따른다”와 “Ut는 다변량정규분포를 따른다” 는 실제적으론 같은 말입니다.
2) Likelihood function(LF) 에서 분산을 구하는 과정을 보시면,
역시 A1~A5의 가정에 기초하고 있습니다. 따라서 LF에는 분산이 포함되어 있습니다. 또한 그것의 우도함수를 2차미분을 하게 되면 표준편차가 0보다 큰 범위에서는 위로 볼록한 형태의 함수임을 알 수 있습니다. 따라서 분산으로 우도함수를 편미분한 것은 분산축을 따라 그려져 있는 우도함수중에서 그것을 최대화하는 분산을 구하기 위함입니다.(이는 최우추정법의 개념)
즉, 최우추정법에서 편미분을 통해 분산을 구할 수 있었던 것은 LF자체에 분산 term을 가지고 있었기 때문에 가능했던 것입니다.
반면 OLS에서는 Ut에 대한 가정이 있습니다.
여기에서 잠시 생각해봐야 하는 것은 분산이란 어떤 것을 말하나인데 여기에서 말하는 분산은 ut의 분산을 말합니다. 왜냐하면 y를 예측하는데에 알파와 베타(하늘나라계수)가 이용되고 그것을 통해 y를 구했다 치더라도 그것에는 오차가 존재하기 때문입니다. 즉, 오차의 변동성을 설명해주는 것이 분산입니다.
이러한 관점에서 하늘나라의 분산을 예측하기 위해 우리가 사용할 수 있는 것은 et인데 그것의 형태는 p.47에 나와 있습니다. 그리고 그 형태가 직관적을 로 합당하게 느껴집니다. 왜냐하면 OLS에 의한 추정치 알파 햇, 베타 헷은 unbiased 인 것을 알기 때문에 하늘나라 모형에 대해 적절한 설명이 되었다고 말할 수 있습니다. 그리고 et는 하늘나라의 모형이 가지고 있던 오차와 OLS의 예측오차의 합으로 볼 수 있을 것입니다.
이러한 관점에서 조금만 더 생각해 보시면 이해가 되시리라 생각합니다. 그리고 왜 n-k로 나누느냐는 stock&watson 책에 설명이 되어있습니다. 그 설명은 직관적이어서 이해하시기 편하시리라 생각합니다. 그런데.. 수학적인 증명은 찾아도 나오질 않는다는...........제가 못 찾는 것인지....
3) 3번은 솔직히 질문이 잘 이해가 되질 않는군요...... ㅡㅡ;
회귀계수의 유의성을 검정하는 것의 개념은 하늘나라의 베타를 우리가 추측컨데 베타=2 다 라고 주장하고 싶을 때 OLS추정량 베타 햇을 이용하여 기각하는냐 마느냐를 결정하는 것입니다. 이런 관점에서... 3번의 질문이 잘 이해가 안 되네요... 그리고 표기탐색과 어떤 관련이 있는지도................... 잘.......................... ㅡㅡ;
이상 ... 허접 답변입니다. (맞나.....)
>1)p.41~42
>통상최소자승추정량의 성질은 모집단의 성질과 표본추출과정에 의존한다고
>하여 모집단의 성질과 표본추출과정에 대한 5가지 가정이 노트에 있는데요.
>
>강의 내용을 복습하는 과정에서 들었던 의문 중에..
>가정들 중에서 5번째 가정, "Ut는 정규분포를 따른다"가 "Ut는 다변량정규
>분포를 따른다"로 바뀌어야 교수님 강의 노트에 표현된 논리가 좀더 매끄럽게
>넘어가지 않나 생각하게 되었습니다.
>
>즉, p.42상단부분에서 (A.2)~(A.5)를 결합하여 도출되는 표현은 다음과 같은
>과정을 거쳐서 나온 것이 아닌가 하고 생각하게 되었습니다.
>-->Ut가 다변량정규분포를 따르고 & A.4가 성립하면 Ut와 Us는 확률적독립.
>따라서 Ut ~iidN(...) 성립하고, (A.2)와 (A.3)에 의해 Ut ~iidN(0.시그마제곱)
>
>제가 이해한 바로는, “Ut는 정규분포를 따른다”의 의미는 Ut 각각의 주변확률
>밀도함수가 정규확률밀도함수, “Ut는 다변량정규분포를 따른다”의 의미는
>Ut(t=1...n)의 결합확률밀도함수가 p.22 상단부에 나온 사과2개 딸린 표현일때
>를 의미.
>따라서 “Ut는 정규분포를 따른다”와 “Ut는 다변량정규분포를 따른다”는
>엄연히 다른 의미를 지니고 있으며, “Ut는 정규분포를 따른다”를 (A.5)로
>했을 때 “p.42상단부분에 표시된 (A.2)~(A.5)를 결합하여 도출되는 표현”
>이 논리적으로 도출되진 않는다는 생각이 들었습니다^^;;
>
>2) Ut의 모분산인 시그마제곱의 추정량과 관련해서....
>최우추정법에 의하면 목적함수(로그우도함수)를 최대화하는 과정에서 모집단의
>모수인 알파, 베타, 시그마제곱으로 편미분하여 각각의 모수의 추정량을 구하게
>되고,
>최소자승법에 의하면 목적함수(잔차제곱의 합)을 최소화하는 과정에서
>모집단의 모수인 알파, 베타로 편미분해서 알파와 베타의 추정량만이 도출되게
>되는데요. 여기서 모집단의 분산인 시그마제곱의 추정량으로서
>(잔차제곱합/자유도)의 도출은 어떻게 이루어지는지 문득 궁금해졌습니다.
>
>즉, 최우추정법에서 시그마제곱의 추정량이 도출되는 과정처럼, 혹은 양쪽 모두의
>추정법에서 모수 알파와 베타의 추정량이 도출되는 과정처럼 목적함수(잔차제곱합)
>를 해당 모수인 시그마제곱으로 편미분해서 추정량이 도출되어야 할 거 같은데요.
>막상 잔차제곱합을 모수인 시그마제곱으로 편미분하게되면 0이 나오고...;;
>최소자승법과 최우추정법에서 모수를 추정할 때 오차항의 분산 부분에 있어서는
>서로 대칭이 이루어지지 않는다는 느낌이 듭니다.
>
>이것 말고도 지난 토요일 보강수업(표기탐색) 이후에 혼란을 많이 느끼게 된 점이
>있는데요. 어떠한 회귀모형의 회귀계수의 유의성을 검정할 때, 예를 들면 단순회귀
>에서 베타의 추정량 베타햇을 구한 후, 만약 t-test의 실시결과 귀무가설이 기각되지
>못한다고 하면, 모집단의 진정한 모습은 설명변수를 포함한 일반적인 단순회귀
>모형이 아닌 상수항과 오차항만의 회귀모형으로 받아들여야 하는건지 궁금합니다.
>만약 t-test 결과 상수항과 오차항만의 회귀모형이 진정한 모집단의 모습이라면,
>p.42 끝줄에 있는, Yt에 대입되어야 할 모집단 모습이 잘못되어 있게 되는 것이고
>그럼 결국은 잘못된 모집단의 모습을 대입하여 구해진 추정량 베타헷은 잘못된
>추정량이 되어 앞서 시행한 t-test는 유의하지 않은 검정이 되어버리는 것은 아닌가
>라는 생각이 듭니다.
>결국 회귀계수에 대한 t-test결과 귀무가설이 기각된다면 전혀 문제될 게 없지만
>기각되지 못할 경우에는 뭔가 이상하게 흘러가는 것 같습니다.
>이 부분은 적절한 모형을 찾는 과정과 회귀계수의 유의성을 검정하는 과정이
>서로 무관한 과정인지 아니면 연관된 과정인지, 혹은 유의성을 검정하는 과정은
>적절하게 찾아진 모형을 단순하게 사후 확인하는 과정인지, 적절한 모형을 찾는
>과정에는 무엇이 있는지에 대한 의문과도 연결되어 있는 거 같습니다...;;
>
>이러한 의문이 제가 교수님의 손을 놓치고 산위로 올라가는 것은 아닌지 심히
>걱정이 됩니다..;;
>
>표기탐색 이후로 심히 혼란스러워진 강생이었습니다..
