[ADP 필기 요약]_4과목 데이터 분석_⑧

1. 데이터 마이닝의 개요

1-1. 데이터 마이닝이란?

데이터 마이닝(Data Mining)은 대용량 데이터 속에서 의미 있는 패턴이나 규칙을 찾아내고, 이를 바탕으로 미래를 예측하거나 의사결정에 활용하는 방법. 쉽게 말하면, 단순히 데이터를 모아두는 것이 아니라 그 안에서 “의미 있는 정보”를 찾아내는 과정이라고 볼 수 있음

 

✅ 데이터 마이닝의 특징

• 대량의 데이터에서 숨겨진 패턴을 발견
• 예측, 분류, 군집화, 연관성 탐색 등에 활용
• 의사결정 지원에 직접 연결됨

✅ 통계분석과의 차이

전통적인 통계분석은 보통 가설을 세우고 이를 검정하는 방식으로 접근. 반면 데이터 마이닝은 다양한 수리적·알고리즘적 기법을 활용하여 데이터 자체로부터 유용한 정보를 추출하는 데 더 초점이 있음

즉,

• 통계분석: 가설 검정 중심
• 데이터 마이닝: 패턴 발견과 예측 중심

✅ 주요 활용 분야

• 분류(Classification)
• 예측(Prediction)
• 군집화(Clustering)
• 연관규칙 분석(Association Rule)
• 시각화(Visualization)

✅ 대표적인 방법론

• 의사결정나무(Decision Tree)
• 로지스틱 회귀분석(Logistic Regression)
• 최근접 이웃법(K-NN)
• 군집분석(Clustering)
• 연관규칙분석(Association Analysis)
• 인공신경망(Neural Network)

 

1-2. 데이터 분석 방법의 구분

데이터 마이닝 기법은 보통 지도학습(Supervised Learning) 과 비지도학습(Unsupervised Learning) 으로 나눔.

구분	내용	대표 기법
지도학습	정답(목적변수, 라벨)이 있는 데이터를 학습	의사결정나무, 인공신경망, 로지스틱 회귀분석, K-NN, 사례기반추론
비지도학습	정답 없이 데이터의 구조나 패턴을 탐색	군집분석, 연관규칙분석, SOM, 차원축소 등

참고로 OLAP은 엄밀히 말하면 학습 알고리즘이라기보다 다차원 데이터 분석 도구에 가깝습니다.
시험 공부에서는 비지도학습과 함께 묶여 언급되기도 하지만, 개념상은 구분해두는 것이 좋습니다.

 

 

1-3. 데이터 마이닝 추진 단계

 

① 목적 설정

데이터 마이닝을 통해 무엇을 해결할 것인지를 명확히 정의합니다.

 

② 데이터 준비

분석에 필요한 데이터를 수집하고, 결측치·이상치 처리 등 데이터 정제 작업을 수행합니다.

 

③ 데이터 가공

목적변수를 정의하고, 모델링에 적합한 형태로 데이터를 변환합니다.

 

④ 기법 적용

데이터 마이닝 기법을 적용하여 패턴을 추출하거나 예측모형을 만듭니다.

 

⑤ 검증 및 활용

도출된 결과를 검증하고, 실제 업무에 적용하여 성과를 평가합니다.

 

1-4. 데이터 분할

구분	설명
학습용(Training)	모형을 학습시키는 데이터
검증용(Validation)	하이퍼파라미터 조정, 과대적합/과소적합 확인
시험용(Test)	최종 모형의 일반화 성능 평가

구분	비율 예시
학습용	50%
검증용	30%
시험용	20%

 

 

1-5. 성과 분석

분류모형의 성능을 평가할 때 가장 기본이 되는 것은 혼동행렬(Confusion Matrix) 입니다.

 

① 혼동행렬

실제 \ 예측	Positive	Negative
Positive(1)	TP	FN
Negative(0)	FP	TN

• TP(True Positive): 실제 양성을 양성으로 맞춤
• TN(True Negative): 실제 음성을 음성으로 맞춤
• FP(False Positive): 실제 음성인데 양성으로 잘못 예측
• FN(False Negative): 실제 양성인데 음성으로 잘못 예측

 

② 주요 평가지표

✅ 정확도(Accuracy)

전체 중 맞게 분류한 비율입니다.

\(Accuracy=TP+TNTP+FP+FN+TNAccuracy = \frac{TP + TN}{TP + FP + FN + TN}Accuracy=TP+FP+FN+TNTP+TN\)​

 

✅ 오분류율(Error Rate)

전체 중 틀리게 분류한 비율입니다.

Error Rate=FP+FNTP+FP+FN+TNError\ Rate = \frac{FP + FN}{TP + FP + FN + TN}Error Rate=TP+FP+FN+TNFP+FN​

 

✅ 특이도(Specificity)

실제 음성 중에서 음성으로 정확히 분류한 비율입니다.

Specificity=TNTN+FPSpecificity = \frac{TN}{TN + FP}Specificity=TN+FPTN​

 

✅ 민감도(Sensitivity), 재현율(Recall)

실제 양성 중에서 양성으로 정확히 잡아낸 비율입니다.

Sensitivity=Recall=TPTP+FNSensitivity = Recall = \frac{TP}{TP + FN}Sensitivity=Recall=TP+FNTP​

 

✅ 정밀도(Precision)

양성이라고 예측한 것 중 실제 양성의 비율입니다.

Precision=TPTP+FPPrecision = \frac{TP}{TP + FP}Precision=TP+FPTP​

 

✅ F1 Score

정밀도와 재현율의 조화평균입니다.

F1=2×Precision×RecallPrecision+RecallF1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}F1=2×Precision+RecallPrecision×Recall​ ​

 

③ 지표별 해석

지표	핵심 질문	중요 상황
Accuracy	전체적으로 얼마나 잘 맞췄는가?	클래스가 균형일 때
Error Rate	얼마나 틀렸는가?	보조 지표
Recall(Sensitivity)	실제 양성을 놓치지 않았는가?	의료, 보안, 이상탐지
Specificity	실제 음성을 잘 걸러냈는가?	오탐 비용이 큰 경우
Precision	양성 예측이 얼마나 믿을 만한가?	마케팅, 추천, 알림 시스템
F1 Score	Precision과 Recall의 균형이 좋은가?	불균형 데이터

시험 포인트
Accuracy는 데이터가 불균형할 때 착시를 줄 수 있습니다.
예를 들어 100명 중 95명이 정상이고 5명이 이상인 경우, 전부 정상이라고 예측해도 Accuracy는 95%가 됩니다.
그래서 불균형 데이터에서는 Precision, Recall, F1 Score가 더 중요합니다.

 

④ ROC Curve와 AUC

ROC Curve(ROC 곡선)는 이진 분류 모형의 성능을 평가하는 대표적인 도구입니다.

• 가로축: FPR(False Positive Rate) = 1−Specificity1 - Specificity1−Specificity
• 세로축: TPR(True Positive Rate) = Sensitivity(Recall)

ROC 곡선은 왼쪽 위에 가까울수록 좋은 모형입니다.
즉, TPR은 높고(FN이 적고), FPR은 낮을수록(FP가 적을수록) 좋은 성능을 의미합니다.

또한 ROC 곡선 아래 면적인 AUC(AUROC) 값이 클수록 모형의 성능이 좋다고 평가합니다.

• AUC = 1에 가까울수록 매우 우수
• AUC = 0.5이면 랜덤 수준

원래 정리에서 ROC 설명 부분에 “TPR↑, FPR↑”라고 되어 있었는데,
정확히는 좋은 모델일수록 TPR은 높고 FPR은 낮아야 합니다.

 

⑤ 이익도표(Profit Chart) / 향상도표(Lift Chart)

 

이익도표는 분류모형이 실제 업무 성과에 얼마나 기여하는지를 보여주는 도구입니다.
특히 마케팅, 고객 타겟팅, 반응 예측 등에서 자주 활용됩니다.

쉽게 말하면,

• 무작위로 고객을 선택했을 때보다
• 모델이 골라낸 고객이 얼마나 더 높은 반응률을 보이는지

를 확인하는 지표입니다.

 

1-6. Feature Selection(변수선택)

변수선택은 모형 성능을 높이고 해석력을 개선하며, 불필요한 변수를 제거하기 위한 과정

구분	필터(Filter)	래퍼(Wrapper)	임베디드(Embedded)
모델 의존성	낮음	높음	높음
계산 비용	매우 낮음	매우 높음	중간
성능 반영	약함	매우 강함	강함
변수 상호작용 반영	어려움	가능	가능
과적합 위험	낮음	높음	중간
실무 활용도	전처리 단계에서 자주 사용	제한적	매우 높음

① 필터 방법(Filter)

모델과 무관하게 통계적 특성만으로 변수의 중요도를 판단

예:

• 분산이 거의 0인 변수 제거
• 상관계수가 너무 높은 변수 제거
• 카이제곱 검정, 정보이득, 상관분석 활용

② 래퍼 방법(Wrapper)

특정 모델을 직접 학습·평가하면서 가장 성능이 좋은 변수 조합을 선택

예:

• 전진선택법
• 후진제거법
• 단계적 선택법
• 최적 부분집합 선택

장점은 성능 반영이 크다는 점이지만, 계산량이 많고 과적합 위험이 있습니다.

 

③ 임베디드 방법(Embedded)

모델 학습 과정 자체에 변수선택이 포함되는 방법

예:

• LASSO
• Elastic Net
• 트리 기반 중요도 활용

시험 포인트

필터: 빠르지만 모델 성능 반영이 약함

• 래퍼: 성능은 좋지만 느리고 과적합 위험
• 임베디드: 실무 활용도가 높고 균형적

 

1-7. 머신러닝과 딥러닝

 

① 머신러닝의 학습 유형

• 지도학습
• 비지도학습
• 강화학습

② 딥러닝이란?

딥러닝은 인공신경망(Neural Network)에 기반한 기계학습 방법으로, 은닉층을 여러 개 쌓아 복잡한 패턴을 학습합니다.

대표적인 구조로는 다음이 있습니다.

• DNN
• CNN
• RNN
• GAN
• RBM
• DBN

③ DNN(Deep Neural Network)

DNN은 입력층, 여러 개의 은닉층, 출력층으로 구성된 심층 신경망입니다.

주요 활용:

• 암 진단 시스템
• 주가 예측
• 기업 신용평가
• 환율 예측

④ CNN(Convolutional Neural Network)

CNN은 합성곱 계층을 활용하여 이미지나 영상 데이터의 특징을 자동으로 추출하는 데 강한 모델

주요 활용:

• 이미지 분류
• 영상 인식
• 자율주행
• 얼굴 인식
• 텍스트/음성/비디오 패턴 인식

⑤ RNN(Recurrent Neural Network)

RNN은 순차적 데이터, 즉 시간의 흐름에 따라 연결되는 데이터를 다루기 위한 신경망

주요 활용:

• 음성 인식
• 자동 번역
• 자연어 처리
• 이미지 캡션 생성

참고로 RNN은 긴 시퀀스에서 기울기 소실 문제가 발생할 수 있어, 이를 개선한 LSTM, GRU가 자주 함께 언급됩니다.

---

 

2. 분류분석(Classification Analysis)

 

2-1) 분류분석과 예측분석의 차이

분류와 예측은 모두 어떤 값을 미리 맞히는 것이라는 공통점이 있습니다.
차이는 맞히려는 값의 형태에 있습니다.

구분	설명
분류(Classification)	범주형 값 예측
예측(Prediction)	연속형 값 예측

예시

• 분류: 고객의 신용등급, 대출 승인 여부, 스팸 메일 여부
• 예측: 매출액, 수능 점수, 주택 가격

 

주의
“고객세분화”는 보통 군집분석(비지도학습) 에 해당합니다.
따라서 분류모형의 대표 예시로 넣기보다는 별도로 구분해두는 것이 정확합니다.

 

 

✅ 대표적인 분류기법

• 로지스틱 회귀분석
• 의사결정나무
• 나이브 베이즈 분류
• 인공신경망
• 서포트 벡터 머신(SVM)
• K-최근접 이웃(K-NN)
• 규칙 기반 분류
• 사례기반추론(Case-Based Reasoning)

 

2-2. 로지스틱 회귀분석

로지스틱 회귀분석은 종속변수가 범주형, 특히 이진형(0/1) 일 때 많이 사용되는 대표적인 분류모형

즉, 새로운 설명변수가 주어졌을 때 어떤 사건이 발생할 확률을 추정하고, 그 확률을 기준으로 분류

예:

• 고객이 이탈할 확률
• 암 진단 결과가 양성일 확률
• 대출 부도 가능성

✅ 오즈(Odds)와 오즈비(Odds Ratio)

• 오즈(Odds): 사건이 발생할 확률 / 발생하지 않을 확률
• 오즈비(Odds Ratio): 두 집단의 오즈를 비교한 비율

로지스틱 회귀에서는 계수 자체보다 eβe^{\beta}eβ 형태의 오즈비로 해석하는 경우가 많습니다.

계수 추정 방법 로지스틱 회귀는 선형회귀처럼 최소제곱법을 쓰지 않고, 최대우도추정법(MLE) 으로 계수를 추정

구분	선형 회귀분석	로지스틱 회귀분석
종속변수	연속형	범주형(주로 0/1)
계수 추정	최소제곱법	최대우도추정법
주요 검정	t검정, F검정	우도비 검정, Wald 검정, 카이제곱 기반 검정

시험 포인트
로지스틱 회귀는 “확률을 예측하는 분류모형”이라는 표현으로 자주 출제됩니다.

 

2-3. 의사결정나무(Decision Tree)

의사결정나무는 데이터를 분할 기준에 따라 나무 구조로 나누어 가며 분류하거나 예측하는 방법

장점은 결과가 규칙 형태로 시각화되어 해석이 쉽다는 점입니다.

 

✅ 특징

• 결과 해석이 직관적임
• 변수 간 비선형 관계와 상호작용을 반영하기 쉬움
• 전처리가 비교적 단순함
• 범주형/연속형 변수 모두 처리 가능

✅ 단점

• 가지가 너무 많아지면 과대적합되기 쉬움
• 데이터 변화에 따라 나무 구조가 크게 달라질 수 있음
• 잡음 데이터에 불안정할 수 있음

즉, 의사결정나무는 해석은 쉽지만 과적합에 주의해야 하는 모델입니다.

 

✅ 활용

• 분류
• 예측
• 변수선택
• 상호작용 효과 파악
• 연속형 변수의 범주화
• 규칙 도출

✅ 분석 과정

1. 나무 성장(Growing)
2. 가지치기(Pruning)
3. 타당성 평가
4. 해석 및 예측

가지치기(Pruning)

너무 큰 나무는 과대적합, 너무 작은 나무는 과소적합 위험이 있습니다.
따라서 적절한 수준에서 가지를 잘라내어 일반화 성능을 높입니다.

 

2-4. 불순도에 따른 분할 기준

의사결정나무에서는 어떤 기준으로 노드를 나눌지를 결정해야 하는데, 이때 불순도(Impurity) 개념을 사용합니다.

 

✅ 불순도란?

하나의 노드 안에 서로 다른 클래스가 얼마나 섞여 있는지를 나타내는 정도입니다.

즉,

• 한 클래스만 있으면 순수
• 여러 클래스가 섞여 있으면 불순

✅ 대표적인 분할 측도

 

① 지니지수(Gini Index)

노드에서 임의의 데이터를 잘못 분류할 확률입니다. 값이 클수록 불순도가 큽니다.

 

② 엔트로피(Entropy)

노드의 불확실성을 나타내는 지표입니다. 값이 클수록 더 혼잡하다고 볼 수 있습니다.

 

③ 카이제곱 통계량

분할 전후 클래스 분포 차이를 검정할 때 사용합니다.

 

2-5. 의사결정나무 알고리즘

 

① CART

가장 널리 알려진 알고리즘입니다.

• 종속변수가 범주형이면 지니지수
• 종속변수가 연속형이면 분산 감소
• 이진 분할(Binary Split) 사용

② C4.5 / C5.0

• 엔트로피 기반 정보이득비 사용
• 다지 분할(Multi-way Split) 가능

③ CHAID

• 범주형 변수: 카이제곱 통계량
• 연속형 변수: F 통계량
• 범주 병합에 강점이 있음

시험에서 자주 묻는 포인트

CART: 지니지수, 이진분리

• C4.5/C5.0: 엔트로피, 정보이득비, 다지분리
• CHAID: 카이제곱 기반

 

2-6. 나이브 베이즈 분류(Naive Bayes)

나이브 베이즈는 베이즈 정리(Bayes’ Theorem) 에 기반한 확률적 분류모형입니다.

핵심 가정은 각 변수들이 서로 조건부 독립이라는 점입니다. 즉, 실제로는 완전히 독립이 아닐 수 있지만 계산을 단순화하기 위해 독립이라고 가정하고, 사후확률이 가장 큰 클래스로 분류합니다.

 

✅ 특징

• 계산이 빠름
• 고차원 데이터에 강함
• 텍스트 분류에 많이 사용됨
• 독립 가정이 지나치게 단순할 수 있음

✅ 베이즈 정리

사전확률과 데이터 정보를 결합하여 사후확률을 계산하는 원리입니다.

 

2-7. K-최근접 이웃(K-Nearest Neighbors, K-NN)

K-NN은 새로운 데이터가 들어왔을 때, 가장 가까운 K개의 이웃 데이터를 기준으로 분류하거나 예측하는 방법입니다.

 

✅ 특징

• 학습 과정이 거의 없음
• 직관적이고 이해하기 쉬움
• 거리 기준에 민감함
• 스케일 차이에 영향을 많이 받음

시험 포인트
K-NN은 거리 기반 알고리즘이므로, 변수 단위가 다르면 표준화/정규화가 중요합니다.

 

2-8. 서포트 벡터 머신(SVM)

서포트 벡터 머신은 두 클래스 사이의 경계(초평면)를 가장 넓게 벌리는, 즉 마진을 최대화하는 분류 알고리즘입니다.

 

✅ 하드 마진(Hard Margin)

모든 데이터를 오분류 없이 완벽하게 분리하는 방식입니다.
하지만 현실 데이터는 이상치와 잡음이 많기 때문에 적용이 어렵습니다.

 

✅ 소프트 마진(Soft Margin)

일부 오분류를 허용하면서 전체적으로 마진을 크게 만드는 방식입니다.
실무에서는 대부분 소프트 마진을 사용합니다.

 

✅ 커널(Kernel)

현실 데이터는 선형적으로 분리되지 않는 경우가 많습니다.
이때 커널을 사용하면 데이터를 고차원 공간으로 변환한 것처럼 처리하여 선형 분리가 가능하도록 도와줍니다.

대표적인 커널:

• 선형 커널(Linear)
• 다항 커널(Polynomial)
• RBF 커널(Gaussian)
• 시그모이드 커널(Sigmoid)

시험 포인트
SVM의 핵심은

마진 최대화

1. 서포트 벡터
2. 커널 트릭이 세 가지입니다.

 

---

마무리 정리

이번 글에서는 ADP 필기에서 자주 나오는 데이터 마이닝 개요와 분류분석의 핵심 기법을 정리했습니다.

특히 다음 내용은 꼭 구분해서 기억해두면 좋습니다.

• 데이터 마이닝은 패턴 발견과 예측 중심
• 분류는 범주형 값, 예측은 연속형 값
• 불균형 데이터에서는 Accuracy보다 Precision, Recall, F1이 중요
• 의사결정나무는 해석이 쉽지만 과적합 주의
• 로지스틱 회귀는 확률 기반 분류모형
• SVM은 마진 최대화
• 나이브 베이즈는 조건부 독립 가정
• K-NN은 거리 기반 알고리즘

ADP 필기는 단순 암기보다 개념 간 차이를 구분하는 힘이 훨씬 중요합니다.
비슷해 보이는 개념들을 정확히 비교하면서 공부하면 문제 풀이 속도와 정확도가 함께 올라갑니다.

---

시험 직전 암기 포인트

• 분류 vs 예측: 범주형 vs 연속형
• 로지스틱 회귀: 범주형 종속변수, 최대우도추정
• CART: 지니지수, 이진분할
• C4.5/C5.0: 엔트로피, 정보이득비
• CHAID: 카이제곱 통계량
• Recall: 실제 양성을 얼마나 잘 잡았는가
• Precision: 양성 예측이 얼마나 믿을 만한가
• F1 Score: Precision과 Recall의 균형
• ROC: TPR↑, FPR↓ 일수록 좋음
• SVM: 마진 최대화, 커널 트릭