[ADP 필기 요약]_4과목 데이터 분석_⑥

1. 회귀분석의 개요

1-1. 회귀분석이란?

회귀분석은 하나 또는 그 이상의 독립변수가 종속변수에 미치는 영향을 추정하는 통계 기법

• 독립변수가 1개이면 단순선형회귀분석
• 독립변수가 2개 이상이면 다중선형회귀분석

즉, 회귀분석은 단순히 “예측”만 하는 것이 아니라,
어떤 변수가 결과에 얼마나 영향을 주는지 해석하는 데에도 중요한 역할을 함

 

 

1-2. 최소제곱법(OLS: Ordinary Least Squares)

선형회귀에서 회귀계수는 보통 최소제곱법으로 추정

• 실제값과 예측값의 차이 = 잔차(Residual)
• 이 잔차들의 제곱합(RSS, Residual Sum of Squares)을 최소화하는 직선을 찾는 방법이 최소제곱법

즉, 잔차제곱합이 가장 작은 회귀선을 선택하는 방식

 

 

 

1-3. 선형회귀분석의 기본 가정

선형회귀분석은 결과 해석 이전에 가정이 충족되는지 확인하는 것이 매우 중요합니다.

가정	의미
선형성	독립변수와 종속변수의 관계가 선형이어야 함
독립성	오차항(잔차)끼리 서로 독립이어야 함
등분산성	모든 독립변수 값에서 오차의 분산이 일정해야 함
정규성	오차항(잔차)이 정규분포를 따라야 함
비다중공선성	독립변수들 사이에 강한 선형관계가 없어야 함(다중회귀에서 중요)

✅ 가정별 핵심 정리

1. 선형성
   독립변수와 종속변수의 관계가 직선 형태로 설명 가능해야 합니다.
2. 등분산성
   잔차의 분산이 특정 구간에서만 크거나 작아지면 안 됩니다.
   즉, 예측값이 커져도 오차의 퍼짐 정도는 비슷해야 합니다.
3. 정규성
   오차항이 정규분포를 따르면 t검정, F검정 등의 통계적 검정이 타당해집니다.
4. 오차의 독립성
   한 관측치의 오차가 다른 관측치의 오차와 관련되면 안 됩니다.
   특히 시계열 데이터에서는 자기상관 여부를 자주 확인합니다.

주의: 기존 필기에서 “정상성”이라고 적힌 부분은 회귀의 기본 가정에서는 보통 정규성으로 표현합니다.
“정상성(stationarity)”은 주로 시계열 분석에서 쓰는 용어입니다.

---

2. 단순선형회귀분석

하나의 독립변수가 종속변수에 미치는 영향을 추정하는 방법

예를 들면,

• 공부시간이 시험점수에 미치는 영향
• 광고비가 매출에 미치는 영향

과 같은 관계를 분석할 때 사용

 

 

2-1 회귀식

단순선형회귀의 기본 형태는 다음과 같습니다.

Y = b0 + b1X + e

• Y: 종속변수
• X: 독립변수
• b0: 절편
• b1: 회귀계수(기울기)
• e: 오차항

여기서 b1은 X가 1만큼 증가할 때 Y가 평균적으로 얼마나 변하는가를 의미

 

 

2-2 결과 해석

✅ 회귀모형 전체의 유의성 검정: F-검정

회귀식 전체가 유의한지 확인합니다.

• 귀무가설(H₀): 회귀계수 = 0
• 대립가설(H₁): 회귀계수 ≠ 0

단순회귀에서는 독립변수가 1개이므로, 전체 모형의 F검정과 회귀계수 t검정이 본질적으로 같은 결론을 내림

 

✅ 회귀계수의 유의성 검정: t-검정

각 회귀계수가 유의한지 확인

• 귀무가설(H0): b1 = 0
• 대립가설(H1): b1 ≠ 0

p-value가 유의수준보다 작으면, 해당 독립변수는 종속변수에 유의한 영향을 미친다고 해석

 

✅ 결정계수(R²)

회귀모형의 설명력을 나타내는 지표입니다.

R² = SSR / SST

• SSR: 회귀제곱합
• SST: 전체제곱합

의미는 다음과 같습니다.

• R² = 0이면 설명력이 거의 없음
• R² = 1이면 데이터를 완벽하게 설명

즉, 회귀모형이 종속변수 변동을 얼마나 설명하는지를 보여줌

시험 포인트: 단순선형회귀에서는 R² = r²

즉, 결정계수는 상관계수의 제곱과 같음

---

3. 다중선형회귀분석

두 개 이상의 독립변수가 종속변수에 미치는 영향을 동시에 분석하는 방법

예:

• 매출 = 광고비 + 가격 + 프로모션 여부
• 주택가격 = 면적 + 방 개수 + 역세권 여부 + 건축연수

 

3-1 다중회귀에서 확인해야 할 사항

✅ 선형회귀 기본 가정 충족 여부

• 선형성
• 오차 독립성
• 등분산성
• 정규성

이 가정은 단순회귀와 동일하게 중요

 

✅ 다중공선성(Multicollinearity)

다중회귀에서 특히 중요한 문제가 다중공선성입니다.

다중공선성이란,
독립변수들끼리 강한 선형관계가 존재하는 상태를 말합니다.

이 경우 다음과 같은 문제가 발생할 수 있습니다.

• 회귀계수 추정이 불안정해짐
• 변수의 유의성이 왜곡됨
• 해석이 어려워짐

 

3-2 다중공선성 진단 방법

 

① 독립변수 간 상관계수 확인

• 독립변수들끼리 상관이 너무 높으면 다중공선성을 의심할 수 있음

② 허용오차(Tolerance)

• 일반적으로 0.1 이하이면 문제가 있다고 봄

③ 분산팽창요인(VIF)

• 일반적으로 VIF > 10이면 심각한 다중공선성 의심
• 실무에서는 5 이상부터 주의해서 보는 경우도 많음

④ 상태지수(Condition Index)

• 보통 10 이상이면 주의
• 30 이상이면 심각한 수준으로 봄

 

3-3 해결 방법

 

다중공선성이 심할 경우 다음과 같은 방법을 고려합니다.

• 상관이 높은 독립변수 제거
• 변수 선택 기법 활용
• 주성분회귀(PCR) 사용
• 릿지 회귀(Ridge Regression) 사용
• 라쏘 회귀(Lasso Regression) 사용

 

3-4 결과 해석

 

(1) 회귀모형 전체 검정

• F-검정으로 전체 모형이 유의한지 확인

(2) 개별 회귀계수 검정

• t-검정으로 각 변수의 유의성 확인

(3) 표준화 회귀계수

다중회귀에서는 변수마다 단위가 다를 수 있기 때문에 단순히 회귀계수 크기만 보고 영향력을 비교하면 안 됨.

이럴 때는 표준화 회귀계수(Standardized Beta)를 활용하면 상대적 영향력을 비교하기 쉬움

 

(4) 설명력

• R2R^2R2, 수정된 R2R^2R2로 모형 설명력 확인

---

4. 회귀분석의 종류

회귀분석은 문제 유형에 따라 여러 형태로 나뉩니다.

• 단순회귀분석
• 다중회귀분석
• 로지스틱회귀분석
• 다항회귀분석
• 곡선회귀분석
• 비선형회귀분석

정리

종속변수가 연속형이면 보통 선형회귀
종속변수가 범주형이면 로지스틱회귀
관계가 직선이 아니면 다항/비선형 회귀 고려

 

---

5. 최적 회귀방정식과 변수선택

실제 분석에서는 모든 변수를 다 넣기보다, 의미 있는 독립변수만 선택해 최적의 회귀모형을 만드는 과정이 필요

 

5-1 변수선택의 필요성

• 불필요한 변수 제거
• 모형 단순화
• 과적합 방지
• 해석력 향상

 

5-2 변수선택 방법

✅ 전진선택법(Forward Selection)

절편만 있는 모형에서 시작하여,
가장 중요한 설명변수를 하나씩 추가하는 방법입니다.

• 장점: 이해가 쉽고 계산이 비교적 간단
• 단점: 초기 선택에 따라 결과가 달라질 수 있음

✅ 후진소거법(Backward Elimination)

모든 독립변수를 포함한 상태에서 시작하여,
가장 영향이 적은 변수부터 제거하는 방법입니다.

• 장점: 전체 변수 정보를 활용 가능
• 단점: 변수 수가 매우 많으면 비효율적일 수 있음

✅ 단계별 선택법(Stepwise Selection)

전진선택과 후진소거를 혼합한 방식입니다.

변수를 추가하면서,
기존에 들어가 있던 변수의 유의성이 낮아지면 다시 제거합니다.

• 장점: 비교적 실용적
• 단점: 데이터 변화에 따라 결과가 불안정할 수 있음

 

5-3 변수선택 기준

✅ 유의확률(p-value) 기반

• p-value ≤ 0.05 → 변수 유지
• p-value > 0.05 → 변수 제거 고려

✅ 정보기준(AIC, BIC) 기반

모형 적합도뿐 아니라 복잡도에 대한 벌점까지 반영한 기준입니다.

• AIC: 예측 성능 중심
• BIC: 더 강한 벌점을 부여하여 단순한 모형 선호

일반적으로는 AIC 또는 BIC 값이 가장 작은 모형을 선택

 

5-4 선택 방법 비교

구분	유의확률 기반	벌점화 전진	벌점화 후진
기준	p-value	AIC/BIC	AIC/BIC
시작	없음/전부	없음	전부
과적합 방지	비교적 약함	강함	강함
실기 출제 빈도	높음	높음	높음

시험 팁: ADP에서는 전진선택, 후진소거, 단계별 선택의 개념 차이를 묻는 문제가 자주 나옵니다.

 

---

6. 고급 회귀분석

6-1 정규화 선형회귀(Regularized Linear Regression)

정규화 회귀는 회귀계수에 제약을 주어 과적합을 방지하는 방법

즉, 모델이 학습데이터에 지나치게 맞춰지는 현상(Overfitting)을 줄이기 위해 계수 크기를 제한

대표적으로 다음 세 가지가 있음

• 릿지 회귀(Ridge)
• 라쏘 회귀(Lasso)
• 엘라스틱넷(Elastic Net)

 

✅ 릿지 회귀(Ridge Regression)

회귀계수의 제곱합에 페널티를 주는 방식

• L2 규제 사용
• 계수를 0에 가깝게 줄이지만, 보통 완전히 0으로 만들지는 않음

특징:

• 다중공선성 완화에 효과적
• 모든 변수를 유지하면서 계수를 안정화

λ↑⇒규제강도증가\lambda \uparrow \Rightarrow 규제 강도 증가λ↑⇒규제강도증가

• λ=0\lambda = 0λ=0이면 일반 선형회귀와 동일

 

✅ 라쏘 회귀(Lasso Regression)

회귀계수의 절대값 합에 페널티를 주는 방식

• L1 규제 사용
• 중요하지 않은 변수의 계수를 0으로 만들 수 있음

즉, 라쏘는 변수선택 기능까지 수행할 수 있다는 점이 핵심

 

✅ 엘라스틱넷(Elastic Net)

릿지와 라쏘를 결합한 방법입니다.

• L1 + L2 규제를 함께 사용
• 변수 간 상관이 높을 때 라쏘보다 안정적일 수 있음

즉,

• 변수선택도 하고 싶고
• 다중공선성 완화도 하고 싶을 때
  자주 고려되는 방법입니다.

 

6-2 일반화 선형모형(GLM)

일반화 선형모형은 종속변수가 정규분포를 따르지 않는 경우에도 선형모형의 틀을 확장해서 사용할 수 있도록 만든 모형입니다.

핵심은 다음 3가지입니다.

1. 확률분포: 종속변수가 정규분포 외의 분포를 가질 수 있음
   (예: 이항분포, 포아송분포)
2. 선형예측자: 독립변수의 선형결합 사용
3. 링크 함수(Link Function): 평균과 선형예측자를 연결

대표 예시:

• 로지스틱 회귀: 이항분포 + logit 링크
• 포아송 회귀: 포아송분포 + log 링크

즉, GLM은 “종속변수를 적절한 링크 함수로 연결해 선형적으로 모델링하는 방법”

 

 

6-3. 회귀분석의 영향력 진단

회귀모형을 적합한 뒤에는 특정 관측치가 모형에 과도한 영향을 주는지 확인해야 함

 

✅ 영향점(Influential Point)

회귀직선의 기울기나 절편을 크게 바꾸는 점을 말함

이상치라고 해서 모두 영향점은 아니며, 레버리지(leverage)가 크고 잔차도 큰 점이 특히 위험함

 

✅ 대표 진단 지표

• 표준화 잔차 / 학생화 잔차
• 레버리지(Leverage)
• Cook’s Distance
• DFBETAS

포인트: 잔차가 큰 점 = 이상치 후보
레버리지가 큰 점 = 설명변수 공간에서 멀리 떨어진 점
둘 다 크면 영향점일 가능성이 큼

 

6-4 더빈-왓슨 검정(Durbin-Watson Test)

더빈-왓슨 검정은 오차항의 자기상관 여부를 확인하는 검정
특히 시계열 순서가 있는 데이터에서 중요함

• 통계량이 2에 가까우면 자기상관이 없음
• 0에 가까우면 양의 자기상관
• 4에 가까우면 음의 자기상관

즉, 회귀분석의 가정 중 오차의 독립성을 점검하는 대표 도구입니다.

 

6-5 벌점화된 선택기준

✅ 수정된 결정계수(Adjusted R²)

일반적인 R²는 변수를 추가할수록 거의 항상 증가합니다.
그래서 변수 수를 고려해 보정한 지표가 수정된 결정계수입니다.

• 불필요한 변수를 추가하면 오히려 감소할 수 있음
• 변수 개수와 설명력을 함께 고려

즉, 모델 비교에는 단순 R²보다 수정된 R²가 더 유용할 수 있습니다.

✅ Mallows’ CpC_pCp​

여러 후보 회귀모형 중 적절한 모형을 고를 때 사용하는 기준입니다.

일반적으로는

• Cp 값이 작고
• 선택한 변수 수와 비슷한 수준인 모형

을 좋은 후보로 봄

 

6-6 변수변환

회귀분석에서는 정규성, 등분산성, 선형성 개선을 위해 변수변환을 사용하기도 합니다.

 

✅ 대표적인 변환

• 로그변환(log)
• 제곱근변환(sqrt)
• 제곱변환(square)
• 역수변환(reciprocal) 등

해석 포인트

• 로그/제곱근 변환: 보통 **오른쪽 꼬리가 긴 분포(큰 값이 일부 존재)**를 완화할 때 자주 사용
• 제곱변환: 왼쪽 꼬리가 긴 분포를 늘려주는 데 사용될 수 있으나, 실무에서는 로그변환이 훨씬 자주 쓰임

기존 필기의 “작은 값 위주 데이터 / 큰 값 위주 데이터” 표현보다는
왜도가 큰 분포를 완화하고 분산을 안정화한다고 이해하는 것이 더 정확합니다.

 

✅ 더미변수(Dummy Variable)

범주형 변수를 회귀모형에 넣기 위해서는 숫자 형태로 바꾸어야 합니다.

예를 들어 성별이 남/여 2개 범주라면,

• 남 = 0
• 여 = 1

처럼 표현할 수 있습니다.

더미변수 개수

• 범주가 k개이면 더미변수는 k-1개 생성

이유는 모든 범주를 다 넣으면 완전 다중공선성이 발생하기 때문입니다.

 

✅ Box-Cox 변환

Box-Cox 변환은 데이터를 정규분포에 가깝게 만들고 분산을 안정화하기 위한 대표적 변환입니다.

• 주로 양수 값 데이터에 적용
• 람다(λ\lambdaλ) 값에 따라 변환 형태가 달라짐
• λ=0\lambda = 0λ=0이면 로그변환과 동일한 형태가 됩니다

즉, 정규성/등분산성 개선이 필요할 때 고려하는 변환 방법입니다.

---

마무리 정리

• 회귀분석은 단순히 식을 구하는 것이 아니라
  가정 확인 -> 회귀계수 해석 -> 모형 검정 -> 변수선택 -> 진단까지 연결해서 이해해야 함
  • 단순회귀: 독립변수 1개
  • 다중회귀: 독립변수 2개 이상
  • 회귀계수 검정: t-검정
  • 전체 모형 검정: F-검정
  • 설명력: R², 수정된 R²
  • 다중공선성: VIF, 허용오차
  • 변수선택: 전진선택, 후진소거, 단계별 선택, AIC/BIC
  • 과적합 방지: 릿지, 라쏘, 엘라스틱넷
  • 오차 독립성: 더빈-왓슨 검정
  • 범주형 변수 처리: 더미변수
  • 분포 개선: 로그변환, Box-Cox 변환