회귀분석에서 t값의 의미 / t-test (작성중입니다)

 t값은 시그널의 강도라고 할 수 있다.. (노이즈 대비 시그널)

당연히 시그널의 강도가 셀수록 좋은 것이다.

노이즈가 너무 많으면 시그널이 잘 안잡히거나 의미가 없다.

 

회귀분석에서의 t값(t검정에 대한 통계량)은 독립변수와 종속변수간에 선형관계(관련성)가 존재하는 정도를 나타낸다.

t값을 구하는 식은 아래와 같다.

(자료 : 이성원, 감정평가를 위한 회귀분석의 이해와 활용)

위에서 귀무가설(영가설;null hypothesis)은 두개의 상관관계(선형관계)가 없다는 것이다.

그러므로 기울기인 회귀계수가 0이라는 가정이다.  그러므로 (베타1)은 0이다. (아래 슬라이드)

spss 돌리면 아래와 같이 나온다.

결국 t 값은 회귀계수 나누기 표준오차(표준편차)가 된다.

The t statistic is the coefficient divided by its standard error

(http://dss.princeton.edu/online_help/analysis/interpreting_regression.htm)

The standard error is an estimate of the standard deviation(편차) of the coefficient, the amount it varies across cases.

그렇다면 회귀계수 나누기 표준오차가 의미하는 것은 무엇인가?

표준오차가 작아질수록 t값은 커지게 된다.

표본의 크기(sample 수)가 커질수록 표준오차는 작아진다.

그러므로 표본의 크기가 커질수록 t값은 커지게 된다.

그래서 표본의 크기가 커질수록 회귀계수에 대한 t값은 유의미하게 나오게 된다.

결국 t 값은 표준편차가 얼마나 크고 작냐는 이야기다.

표준편차의 절대값은 변수의 단위 등에 따라 상대비교가 불가능하므로, 회귀계수를 표준편차로 나누어주어서 표준편차의 정도를 상대적으로 비교해 볼수 있게 하는 것이다.

t 값이 크다는 것은 표준 편차가 작다는 것이다.  (독립-종속 변수간 상관도 높음)

t 값이 작다는 것은 표준 편차가 크다는 것이다.  (관계 낮음)

그러므로 유의미한 결과가 나오려면 t 값은 커야 한다.

? t 값과 P 값의 관계는?

F값은 t값의 제곱이다. (아래)

(자료 : 한남대 권세혁 교수)

 

T-test란?

평균을 비교하는데 쓰는 검정방법이다.

 

기네스 맥주회사 직원이 100년전쯤 개발한 통계기법이다.

다음의 두 그림이 t값의 의미를 명확히 보여준다

http://www.socialresearchmethods.net/kb/stat_t.php

여기서 중요한 것은 t 값은 바로 노이즈 분의 시그널이란 것이다!!

노이즈가 적을수록 의미있는 시그널을 얻는 것이다!!!

t-검정에 대해 류성진 교수의 다음 글도 유익하다.

http://terms.naver.com/entry.nhn?docId=1625381&cid=42251&categoryId=42262