[ADP 필기 요약]_4과목 데이터 분석_⑨

1. 앙상블 기법

1-1. 앙상블이란?

앙상블(Ensemble)은 여러 개의 예측모형을 만든 뒤, 그 결과를 결합해서 하나의 최종 예측모형을 만드는 방법입니다.

쉽게 말하면, 한 사람의 판단보다 여러 사람의 판단을 모으면 더 안정적인 결론이 나오는 것과 비슷합니다.
즉, 단일 모델보다 예측 안정성과 일반화 성능을 높이기 위해 사용하는 방법이라고 이해하면 됩니다.

 

1-2. 앙상블이 필요한 이유

모든 모델이 똑같이 안정적인 것은 아닙니다. 예를 들어 의사결정나무(Decision Tree) 는 데이터가 조금만 바뀌어도 트리 구조가 크게 바뀔 수 있어서 불안정성이 큽니다. 반면 최근접 이웃법(K-NN) 은 비교적 안정적인 편입니다.

앙상블은 이런 불안정성을 줄이고, 여러 약한 모델을 결합해 더 강한 모델을 만드는 방식으로 성능을 높입니다.

시험 포인트
앙상블은 보통 분산을 줄이거나 편향을 줄여서 성능을 높인다고 정리하면 됩니다.

• 배깅(Bagging): 분산 감소
• 부스팅(Boosting): 편향 감소

 

1-3. 대표적인 앙상블 기법

기법	핵심 아이디어	주요 효과	특징
배깅(Bagging)	붓스트랩 표본을 여러 개 만들어 각각 학습 후 결합	분산 감소	병렬적 학습
부스팅(Boosting)	이전 모델의 오차를 다음 모델이 보완	편향 감소	순차적 학습
랜덤 포레스트 (Random Forest)	배깅 + 변수 무작위 선택	분산 감소, 과적합 완화	대표적 트리 앙상블
GBM	잔차를 학습하며 손실함수 최소화	성능 향상	경사하강법 기반
XGBoost	GBM 개선형	속도·성능 향상	규제 포함
LightGBM	대용량 데이터에 최적화된 GBM	학습 속도 향상	고차원 데이터에 강점

1-4. 배깅(Bagging)

배깅은 원자료에서 붓스트랩 표본을 여러 번 추출한 뒤, 각각의 표본으로 모델을 만들고 그 결과를 평균이나 다수결로 결합하는 방식입니다.

배깅의 핵심은 분산을 줄이는 것입니다. 특히 의사결정나무처럼 분산이 큰 모델과 잘 어울립니다.

• 훈련 데이터를 여러 번 다시 뽑는다.
• 각 데이터셋으로 별도의 모델을 만든다.
• 최종 결과는 평균 또는 투표로 결합한다.

1-5. 부스팅(Boosting)

부스팅은 성능이 약한 모델들을 순차적으로 연결하여 강한 모델을 만드는 방법입니다.

이전 모델이 틀린 부분을 다음 모델이 보완하도록 학습한다는 점이 핵심입니다.

즉, “앞에서 놓친 오차를 뒤에서 계속 보정해 나가는 방식”이라고 이해하면 쉽습니다.

• 이전 모델의 오차에 집중한다.
• 순차적으로 학습한다.
• 예측 성능이 높은 경우가 많지만, 노이즈에 민감할 수 있다.

1-6. 랜덤 포레스트(Random Forest)

랜덤 포레스트는 배깅 기반 앙상블 기법입니다.

여러 개의 의사결정나무를 만들되, 각 트리마다 붓스트랩 표본을 사용하고, 각 노드 분할 시 일부 변수만 무작위로 선택합니다. 

이 방식은 트리들 사이의 상관을 줄여서 전체 성능을 높이는 효과가 있습니다.

• 여러 개의 의사결정나무를 결합
• 배깅 기반
• 각 분할마다 일부 변수만 사용
• 해석은 어렵지만 예측력은 우수

헷갈리기 쉬운 포인트
랜덤 포레스트는 부스팅 계열이 아니라 배깅 계열입니다.

 

1-7. GBM / XGBoost / LightGBM

✅ GBM(Gradient Boosting Machine)

GBM은 손실함수를 최소화하는 방향으로 이전 단계의 오차(잔차)를 학습하는 부스팅 알고리즘입니다.

✅ XGBoost

XGBoost는 GBM을 개선한 알고리즘으로, 학습 속도와 예측 성능을 높이고 정규화 항을 포함해 과적합을 줄이는 기능이 강화되었습니다.

✅ LightGBM

LightGBM은 대용량, 고차원 데이터에서 빠르게 동작하도록 설계된 부스팅 알고리즘입니다.
데이터가 크고 변수 수가 많을 때 자주 언급됩니다.

---

2. 인공신경망

2-1. 인공신경망이란?

인공신경망(ANN, Artificial Neural Network)은 사람의 신경세포 구조를 모방한 분석 모형입니다. 여러 입력값을 받아 가중합을 계산하고, 활성화함수를 거쳐 최종 출력값을 생성합니다.

기본 구조는 다음과 같습니다.

• 입력층(Input Layer)
• 은닉층(Hidden Layer)
• 출력층(Output Layer)

여기서 가중치(weight) 는 뉴런 간 연결 강도를 의미하며,
활성화함수(activation function) 는 비선형성을 부여하는 역할을 합니다.

 

2-2. 신경망의 핵심 개념

• 퍼셉트론(Perceptron): 로젠블럿(Rosenblatt)이 제안한 초기 신경망 모형
• 역전파 알고리즘(Backpropagation): 오차를 뒤로 전달하면서 가중치를 조정하는 학습 방법
• 은닉층(Hidden Layer): 입력과 출력 사이에서 복잡한 패턴을 학습하는 층

2-3. 활성화함수 정리

함수	출력 범위	주 사용 위치	장점	단점
Sigmoid	(0, 1)	출력층(이진분류)	확률 해석 가능	기울기 소실
ReLU	[0, ∞)	은닉층	계산 빠름, 학습 안정적	Dead ReLU
Leaky ReLU	(-∞, ∞)	은닉층	Dead ReLU 완화	계수 설정 필요
tanh	(-1, 1)	은닉층	0 중심	기울기 소실 가능
Softmax	(0,1), 합=1	출력층(다중분류)	확률 해석 가능	은닉층에 부적절

시험 포인트

이진분류 출력층 → Sigmoid

• 다중분류 출력층 → Softmax
• 은닉층 → ReLU 계열 자주 사용

 

2-4. 신경망 모형 구축 시 고려사항

구분	설명
입력변수	입력자료 선택에 민감하다. 범주형 변수는 가변수화, 연속형 변수는 표준화/정규화가 필요할 수 있다.
가중치 초기값	초기값에 따라 결과가 달라질 수 있다. 보통 0 근처의 작은 난수를 사용한다.
학습률	너무 크면 발산, 너무 작으면 수렴이 느리다.
은닉층/은닉노드	너무 많으면 과대적합, 너무 적으면 과소적합 문제가 생긴다.
지역해(Local Minima)	초기값에 따라 서로 다른 해에 도달할 수 있다.
과대적합	조기종료, 가중치 감소, 드롭아웃 등으로 완화할 수 있다.

2-5. 인공신경망의 장단점

장점	단점
복잡한 비선형 관계를 잘 학습함	구조 해석이 어렵다
예측력이 높은 경우가 많음	과대적합 위험이 있다
고차원 데이터 처리에 강점	학습시간이 길 수 있다
패턴 인식 문제에 강함	하이퍼파라미터 설정이 어렵다

---

3. 로지스틱 회귀분석

3-1. 로지스틱 회귀분석이란?

로지스틱 회귀분석은 반응변수가 범주형일 때 사용하는 대표적인 분류모형입니다. 이름은 회귀지만, 실제로는 특정 범주에 속할 확률을 추정하고 그 확률을 기준으로 분류를 수행합니다. 즉, 확률을 예측하고 그 확률로 클래스를 나누는 모형입니다.

 

3-2. 핵심 개념

• 종속변수는 범주형
• 출력값은 0과 1 사이의 확률
• 기준값(cut-off)을 정해 최종 범주로 분류
• 이진분류에 대표적으로 사용

3-3. 핵심 수식

• p(x) = P(Y=1 | X=x)
• log(p / (1-p)) = β0 + β1x1 + ... + βkxk

여기서

• p: 사건이 발생할 확률
• p / (1-p): 오즈(odds)
• log(p / (1-p)): 로짓(logit)

시험 포인트
로지스틱 회귀는 확률 자체를 선형식으로 두는 것이 아니라,
오즈의 로그값(logit)을 선형식으로 둔다는 점이 핵심입니다.

 

3-4. 정리

• 선형회귀: 종속변수 연속형
• 로지스틱 회귀: 종속변수 범주형
• R에서는 보통 glm(..., family = binomial)을 사용

---

4. 군집분석

4-1. 군집분석이란?

군집분석(Clustering)은 비슷한 객체끼리 묶고, 서로 다른 군집은 구분되도록 하는 비지도학습 기법입니다.

즉, 정답 라벨 없이 데이터 자체의 구조를 찾아내는 분석 방법입니다.

 

4-2. 군집분석의 특징

• 비지도학습에 해당한다.
• 종속변수가 없어도 분석 가능하다.
• 유사성이 높은 객체끼리 묶는다.
• 고객 세분화, 시장 분류, 패턴 발견에 많이 쓰인다.

4-3. 다른 분석기법과의 차이

비교 기법	차이점
요인분석	요인분석은 변수를 묶는 방법, 군집분석은 객체를 묶는 방법
판별분석	판별분석은 사전에 집단 정보가 필요하지만, 군집분석은 집단 정보 없이 진행

시험 포인트
요인분석은 “변수 축소”, 군집분석은 “관측치 분류”라고 구분하면 기억하기 쉽습니다.

 

4-4. 거리 측정 방법

군집분석은 거리 또는 유사도를 기준으로 군집을 나누므로, 어떤 거리 척도를 쓰는지가 매우 중요합니다.

 

✅ 연속형 변수에서 자주 쓰는 거리

• 유클리드 거리
• 표준화 거리
• 마할라노비스 거리
• 맨해튼 거리
• 체비셰프 거리
• 캔버라 거리
• 민코프스키 거리

✅ 범주형·이진형·벡터형 데이터에서 자주 쓰는 방법

• 자카드 거리
• 단순 일치계수
• 코사인 유사도

헷갈리기 쉬운 포인트
코사인 유사도는 보통 문서 벡터나 희소 벡터 데이터에서 자주 활용됩니다.

---

5. 계층적 군집분석

5-1. 계층적 군집분석이란?

계층적 군집분석은 군집 간의 포함 관계를 계층 구조로 표현하는 방법입니다.
결과는 보통 덴드로그램(dendrogram) 으로 나타냅니다.

• 병합적 방법(Agglomerative): 각 객체가 하나의 군집에서 시작해 점점 합쳐짐
• 분할적 방법(Divisive): 전체를 하나로 보고 점점 나눔

5-2. 연결법 비교

연결법	거리 기준	군집 형태	특징
최단연결법(single linkage)	최소 거리	사슬형	체인 현상 발생 가능
최장연결법(complete linkage)	최대 거리	조밀한 군집	경계가 비교적 뚜렷
평균연결법(average linkage)	평균 거리	중간형	비교적 안정적
와드연결법(Ward)	군집 내 제곱합 증가 최소화	구형 군집	실무·시험에서 자주 언급

시험 포인트

최단연결법 → 체인 현상

• 와드법 → 군집 내 분산 최소화

---

6. 비계층적 군집분석

6-1. K-평균 군집분석(K-means)

K-means는 가장 대표적인 비계층적 군집분석 방법입니다.
미리 군집 수 k를 정한 뒤, 각 군집의 중심을 반복적으로 조정하면서 군집을 형성합니다.

 

6-2. K-means 절차

1. 군집 수 k와 초기 중심(seed)을 정한다.
2. 각 데이터를 가장 가까운 중심의 군집에 할당한다.
3. 각 군집의 중심을 다시 계산한다.
4. 중심 변화가 거의 없어질 때까지 반복한다.

6-3. K-means의 특징

• 연속형 변수에 주로 사용
• 군집 중심은 평균(mean)
• 초기 중심값에 민감
• 이상치에 민감
• 군집 수를 사전에 정해야 함

6-4. 장단점

장점	단점
알고리즘이 단순하고 빠름	초기 중심값에 민감
대용량 데이터 처리에 유리	이상치에 민감
결과 해석이 쉬운 편	군집 수를 미리 정해야 함
구현이 쉬움	비구형 군집에는 약함

시험 포인트
K-means는 가능한 모든 군집 조합을 다 점검하는 방식이 아니라,
초기 중심을 기준으로 반복적으로 재배정하는 알고리즘입니다.

---

7. 혼합분포 군집(Mixture Distribution Clustering)

혼합분포 군집은 모형 기반 군집화 방법입니다.
데이터가 여러 개의 확률분포가 섞여 있는 형태라고 가정하고, 각 데이터가 어느 분포에서 왔는지 확률적으로 판단합니다.

 

7-1. 핵심 특징

• 각 군집은 하나의 확률모형으로 표현된다.
• 흔히 정규분포 또는 다변량 정규분포를 가정한다.
• 각 관측치는 특정 군집에 확률적으로 속한다.
• 모수 추정에는 EM 알고리즘이 자주 사용된다.

7-2. K-means와의 차이

항목	K-means	혼합분포 군집
군집 할당	하나의 군집에 딱 할당	군집 소속 확률로 표현 가능
기준	거리 중심	확률분포 중심
군집 모양	구형 군집에 유리	다양한 크기·분산 가능
추정 방법	중심 반복 갱신	EM 알고리즘

 

---

8. SOM(Self-Organizing Map)

SOM은 코호넨(Kohonen)이 제안한 비지도 신경망입니다.
고차원 데이터를 2차원 격자 형태의 지도 위에 배치해 데이터 구조를 시각적으로 이해하기 쉽게 만드는 방법입니다.

 

8-1. SOM의 특징

• 고차원 데이터를 저차원 지도 형태로 시각화
• 가까운 데이터는 지도상에서도 가까이 배치
• 패턴 발견과 군집 탐색에 유리
• 경쟁학습(competitive learning) 사용

구분	일반 신경망 모형	SOM
학습 방법	오차역전파법	경쟁학습
학습 유형	지도학습	비지도학습
구조	입력층-은닉층-출력층	입력층-경쟁층(2차원 격자)
목적	예측/분류	군집화/시각화

---

9. 재표본추출(Resampling)

재표본추출은 주어진 데이터를 반복적으로 나누거나 다시 뽑아 모델 성능을 평가하는 방법입니다.

 

9-1. 대표 방법 비교

구분	Hold-out	K-fold CV	Bootstrap
분할 횟수	1회	K회	다수
중복 추출	불가	불가	가능
성능 안정성	낮음	높음	매우 높음
계산 비용	낮음	중간	높음
데이터가 적을 때	다소 불리	적합	매우 적합

9-2. K-fold Cross Validation

데이터를 k개의 집단으로 나눈 뒤, 매번 k-1개는 학습용, 1개는 검증용으로 사용합니다.
이 과정을 k번 반복하고 평균 성능을 최종 성능으로 사용합니다.

 

9-3. Bootstrap

부트스트랩은 원자료에서 중복을 허용하여 재표본을 여러 번 추출하는 방법입니다.

• 표본 수가 적을 때 유용
• 성능의 분포를 추정할 수 있음
• 한 번도 뽑히지 않은 데이터는 OOB(Out-Of-Bag) 데이터
• OOB 비율은 약 36.8%

---

10. 군집화 기법 비교

10-1. 밀도기반 군집분석

밀도기반 군집화는 데이터가 조밀하게 모여 있는 영역을 군집으로 보는 방법입니다.
이상치 탐지에 강하다는 장점이 있습니다.

구분	DBSCAN	OPTICS	DENCLUE
기본 개념	밀도 반경 기반	밀도 순서 기반	밀도 함수 기반
군집 개수	자동	후처리 필요	자동
이상치 처리	강함	강함	가능
특징	대표적 밀도기반 기법	밀도 차이가 큰 데이터에 유리	수학적 난이도 높음

• DBSCAN: ε와 MinPts를 기준으로 군집 형성
• OPTICS: 다양한 밀도 구조를 순서 정보로 표현
• DENCLUE: 밀도 함수를 기반으로 군집화 수행

10-2. 격자기반 군집분석

격자기반 군집화는 데이터 공간을 일정한 크기의 격자로 나누고, 각 셀의 밀도나 통계량을 기반으로 군집을 형성하는 방법입니다.

구분	STING	WaveCluster	CLIQUE
핵심 개념	통계 정보가 저장된 격자 셀 탐색	웨이블릿 변환	부분공간 군집
데이터 차원	저~중차원	저~중차원	고차원
노이즈 처리	보통	강함	보통
특징	매우 빠름	임의 형태 군집 탐색 가능	고차원 데이터에 유리

• STING: 격자 셀의 통계 정보를 탐색
• WaveCluster: 웨이블릿 변환 기법 활용
• CLIQUE: 고차원 데이터의 부분공간 군집화에 적합

---

마무리 정리

이번 글에서는 ADP 필기에서 자주 출제되는
앙상블 기법, 인공신경망, 로지스틱 회귀분석, 군집분석, 재표본추출, 군집화 기법 비교를 한 번에 정리했습니다.

이 파트는 단순히 용어만 외우면 금방 헷갈리기 때문에,
반드시 아래처럼 비교하면서 암기하는 것이 중요합니다.

• 배깅 vs 부스팅
• 랜덤 포레스트 vs GBM
• 지도학습 vs 비지도학습
• 계층적 군집 vs 비계층적 군집
• K-means vs 혼합분포 군집
• DBSCAN vs K-means

시험 직전에는 표 위주로 다시 보면서,
“이 기법은 무엇을 기준으로 묶는가?”, “어떤 상황에서 쓰는가?”, “무엇과 자주 비교되는가?”를 중심으로 복습하면 훨씬 정리가 잘 됩니다.