[ADP 필기 요약]_4과목 데이터 분석_⑩

1. 연관분석

1-1. 연관규칙분석이란?

연관규칙분석(Association Rule Analysis)은 거래나 사건 데이터에서 항목들 사이의 동시 발생 규칙을 찾는 분석 방법입니다.

쉽게 말하면, “어떤 상품을 사는 사람이 어떤 상품도 함께 사는가?” 같은 패턴을 찾는 분석입니다.

대표적인 예시는 다음과 같습니다.

• 장바구니 분석(Market Basket Analysis)
  함께 구매되는 상품 조합을 찾는 분석
  예: 기저귀를 산 고객이 맥주도 함께 구매하는 패턴
• 순차분석(Sequential Analysis)
  시간 순서를 고려하여, A를 산 뒤 B를 사는지 분석
  예: 휴대폰을 구매한 고객이 한 달 안에 케이스를 구매하는 패턴

1-2. 연관규칙의 형태

연관규칙은 보통 다음과 같은 형태로 표현합니다.

• X → Y
• 의미: X가 발생한 거래에서 Y도 함께 발생할 가능성이 높다

즉, if-then 형태의 규칙으로 이해하면 됩니다.

다만 여기서 중요한 점은,
연관규칙은 인과관계를 설명하는 것이 아니라 동시 발생 경향을 찾는 분석이라는 점입니다.

시험 포인트
연관규칙은 “X 때문에 Y가 발생했다”를 말하는 것이 아니라,
“X가 있을 때 Y가 함께 나타나는 경향이 있다”를 말하는 기법입니다.

 

1-3. 연관규칙의 주요 측도

연관규칙은 보통 지지도, 신뢰도, 향상도로 평가합니다.

 

① 지지도(Support)

• Support(X → Y) = P(X ∩ Y)
• 전체 거래 중에서 X와 Y가 동시에 포함된 비율

즉, 이 규칙이 전체 데이터에서 얼마나 자주 나타나는지를 보여주는 지표입니다.

 

② 신뢰도(Confidence)

• Confidence(X → Y) = P(Y | X) = P(X ∩ Y) / P(X)

X가 포함된 거래 중에서 Y도 함께 포함될 확률입니다.
즉, 조건부확률로 이해하면 됩니다.

 

③ 향상도(Lift)

• Lift(X → Y) = P(Y | X) / P(Y)
• 또는 Confidence(X → Y) / Support(Y)

향상도는 X가 주어졌을 때 Y의 발생확률이, Y의 전체 발생확률보다 얼마나 더 높은가를 보는 지표입니다.

측도	의미	해석
지지도(Support)	전체 중 X와 Y가 함께 나온 비율	규칙의 빈도
신뢰도(Confidence)	X가 나왔을 때 Y도 나올 확률	규칙의 강도
향상도(Lift)	X와 Y의 동시 발생이 우연보다 얼마나 더 강한지	연관성의 유의성

1-4. 향상도 해석

향상도는 시험에서 특히 중요합니다.

• Lift = 1: X와 Y가 서로 독립
• Lift > 1: 양의 연관관계
• Lift < 1: 음의 연관관계

즉, 신뢰도가 높아 보여도 Y 자체가 원래 자주 나오는 품목이면 의미가 약할 수 있습니다.
그래서 지지도와 신뢰도만 보지 말고 향상도까지 함께 봐야 합니다.

시험 포인트

• 지지도: 얼마나 자주 나오는가
  신뢰도: X일 때 Y가 얼마나 자주 나오는가
  향상도: 그 규칙이 우연보다 정말 의미 있는가

 

1-5. 연관규칙분석 절차

연관규칙분석은 보통 다음과 같이 진행됩니다.

1. 최소 지지도(minimum support)를 정한다.
2. 최소 지지도를 만족하는 빈발항목집합(frequent itemset)을 찾는다.
3. 빈발항목집합으로부터 규칙을 생성한다.
4. 신뢰도, 향상도 등을 기준으로 유의한 규칙만 선택한다.

1-6. 연관규칙분석의 장단점

구분	내용
장점 1	비지도 학습 기법으로, 목표변수 없이도 패턴 탐색이 가능하다
장점 2	결과가 “X → Y” 형태라 직관적이고 설명이 쉽다
장점 3	교차판매, 추천, 번들링 전략 등 실무 활용도가 높다
장점 4	지지도·신뢰도·향상도로 규칙을 정량적으로 평가할 수 있다
단점 1	아이템 수가 많으면 규칙 수가 폭발적으로 증가할 수 있다
단점 2	인과관계를 설명하지는 못한다
단점 3	전처리 방식과 거래 단위 설정에 따라 결과가 크게 달라진다
단점 4	시간 순서나 수량 정보는 기본 연관규칙에서 반영하기 어렵다

1-7. 기존 연관분석의 이슈

기존 연관분석은 대용량 데이터에서 계산량이 매우 커질 수 있다는 문제가 있습니다.

특히,

• 품목 수가 많아질수록 후보 규칙 수가 급증하고
• 최소 지지도를 너무 낮게 설정하면 규칙이 지나치게 많아지며
• 시스템 자원을 많이 사용하게 됩니다.

또한 평가기준을 해석할 때도 주의가 필요합니다.

 

해석 시 주의점

1. 신뢰도가 높다고 무조건 좋은 규칙은 아니다.
   Y 자체가 자주 발생하는 항목이면 신뢰도는 높게 나올 수 있다.
2. 지지도와 신뢰도가 높아도 향상도가 낮으면 의미가 약할 수 있다.
   전체적으로 많이 팔리는 상품끼리의 조합일 수 있기 때문이다.
3. 연관규칙은 반드시 향상도까지 함께 봐야 한다.
   그래야 “우연히 자주 나온 것인지”와 “실제 연관성이 강한지”를 구분할 수 있다.

---

2. 연관규칙 알고리즘

2-1. Apriori 알고리즘

Apriori는 연관규칙분석에서 가장 대표적으로 등장하는 알고리즘입니다.

핵심 아이디어는 다음과 같습니다.

• 최소 지지도 이상인 빈발항목집합만 남긴다
• 빈발하지 않은 항목집합의 상위집합도 빈발할 수 없다는 성질을 이용한다
• 이를 바탕으로 후보 집합을 단계적으로 줄여나간다

즉, Apriori는 불필요한 후보를 줄이면서 빈발항목집합을 찾는 방식입니다.

 

Apriori의 특징

• 이해가 쉽고 개념적으로 명확하다
• 후보 항목집합을 반복 생성해야 한다
• 데이터가 커지면 계산량이 커질 수 있다

2-2. FP-Growth 알고리즘

FP-Growth는 Apriori의 계산량 문제를 개선하기 위해 나온 방법입니다.

핵심은 다음과 같습니다.

• 후보 빈발항목집합을 일일이 생성하지 않는다
• 대신 FP-Tree 라는 압축 트리 구조를 만든다
• 분할정복 방식으로 빈발항목집합을 빠르게 찾는다

FP-Growth의 특징

• Apriori보다 빠른 경우가 많다
• 대용량 데이터에 상대적으로 유리하다
• 후보 생성 과정을 줄여 계산 효율을 높인다

시험 포인트

• Apriori: 후보 생성 기반

FP-Growth: FP-Tree 기반, 후보 생성 최소화

---

3. 텍스트 마이닝(Text Mining)

3-1. 텍스트 마이닝이란?

텍스트 마이닝은 비정형 텍스트 데이터로부터 의미 있는 정보를 추출하는 분석 방법입니다.

쉽게 말하면, 문장이나 문서처럼 구조화되지 않은 데이터를 숫자나 행렬 형태로 바꾼 뒤, 그 안에서 패턴을 찾는 과정이라고 볼 수 있습니다.

즉,

• 텍스트를 수집하고
• 정제하고
• 구조화하고
• 분석 기법을 적용해
• 통찰(insight)을 얻는 과정입니다.

3-2. 텍스트 마이닝의 활용 분야

텍스트 마이닝은 다음과 같은 분야에서 자주 활용됩니다.

• 감성분석(Sentiment Analysis)
• 문서 분류(Classification)
• 문서 군집화(Clustering)
• 문서 요약(Summarization)
• 키워드 추출
• 워드클라우드
• 추천 및 검색 최적화

3-3. 정확도와 재현율

텍스트 마이닝, 정보 검색 분야에서는 정확도(Precision) 와 재현율(Recall) 이 중요합니다.

• 정확도(Precision)
  정답이라고 예측한 것 중 실제 정답의 비율
• 재현율(Recall)
  실제 정답 중에서 정답이라고 맞춘 비율

이 개념은 분류모형 평가와도 연결되므로 같이 기억해두면 좋습니다.

 

3-4. Corpus란?

Corpus(코퍼스)는 텍스트 마이닝을 위해 수집된 문서들의 집합을 의미합니다.

즉, 여러 문서를 모아 분석 가능한 형태로 관리하는 기본 단위라고 이해하면 됩니다.

R의 tm 패키지에서는 코퍼스를 관리하기 위한 구조로 다음이 자주 언급됩니다.

함수	의미
VCorpus()	메모리 기반의 휘발성 Corpus
PCorpus()	외부 파일/DB 기반의 영속성 Corpus

시험 포인트
Corpus는 “정제된 단계” 자체를 뜻하는 것이 아니라,
텍스트 문서들의 집합을 의미합니다.

 

3-5. R을 이용한 텍스트 마이닝

텍스트 마이닝에서 R로 자주 언급되는 패키지는 다음과 같습니다.

• tm: 텍스트 전처리와 문서 관리에 사용
• KoNLP: 한글 텍스트 분석에 자주 사용
• wordcloud: 워드클라우드 시각화에 사용

3-6. 감성분석(Sentiment Analysis)

감성분석은 문장이나 문서에 포함된 단어의 긍정/부정 성향을 분석하여 전체 텍스트의 감정을 판단하는 방법입니다.

예를 들어 리뷰 데이터에서

• 긍정 리뷰
• 부정 리뷰
• 중립 리뷰
  를 나누는 데 활용할 수 있습니다.

3-7. 워드클라우드(Word Cloud)

워드클라우드는 문서에서 자주 등장하는 단어를 크기, 색상 등으로 시각화하는 방법입니다.

단어 빈도를 직관적으로 보여주는 데 유용하며, 탐색적 텍스트 분석에서 자주 활용됩니다.

---

4. 사회연결망 분석(Social Network Analysis)

4-1. 사회연결망 분석이란?

사회연결망 분석(SNA)은 개인이나 집단 간의 관계를 노드(node)와 링크(link)로 표현하고, 그 구조와 영향력을 분석하는 방법입니다.

쉽게 말하면, 사람과 사람, 조직과 조직, 고객과 고객 사이의 연결 구조를 분석하는 기법입니다.

예를 들어,

• 누가 중심 인물인지
• 어떤 집단이 형성되어 있는지
• 정보가 어디를 통해 퍼지는지
  를 파악할 수 있습니다.

4-2. 사회연결망 분석의 표현 방식

사회연결망은 보통 다음과 같은 방식으로 표현합니다.

1. 집합론적 방법
   객체 간 관계를 쌍(pair)으로 표현
2. 그래프 이론 방법
   객체는 점(노드), 관계는 선(링크)로 표현
3. 행렬 방법
   관계 유무를 인접행렬(adjacency matrix)로 표현

4-3. 중심성(Centrality)

사회연결망 분석에서 가장 중요한 개념 중 하나가 중심성입니다.
즉, 네트워크 안에서 어떤 노드가 얼마나 중요한 위치를 차지하는지를 보는 지표입니다.

 

① 연결정도 중심성(Degree Centrality)

한 노드에 직접 연결된 노드 수를 의미합니다.
연결이 많을수록 중심성이 높습니다.

 

② 근접 중심성(Closeness Centrality)

한 노드가 다른 모든 노드에 얼마나 짧은 거리로 도달할 수 있는지를 나타냅니다.
보통 다른 노드까지의 최단거리 합의 역수 개념으로 이해합니다.

 

③ 매개 중심성(Betweenness Centrality)

한 노드가 다른 노드들 사이의 최단경로 상에 얼마나 자주 위치하는지를 나타냅니다.
즉, 중개자나 허브 역할의 정도를 보여줍니다.

 

④ 위세 중심성(Eigenvector Centrality)

단순히 연결 수만 보는 것이 아니라,
영향력 있는 노드와 연결되어 있는 정도까지 반영하는 중심성입니다.

시험 포인트

• 연결정도 중심성: 연결 수

근접 중심성: 전체 노드에 얼마나 빨리 닿는가

• 매개 중심성: 사이에서 중개하는 힘
• 위세 중심성: 영향력 있는 노드와 연결된 정도

 

4-4. 네트워크 레벨 통계량

네트워크 전체 구조를 보는 지표로는 다음이 자주 언급됩니다.

• degree
• shortest paths
• reachability
• density
• reciprocity
• transitivity
• triad census

이들은 개별 노드가 아니라 네트워크 전체의 구조적 특성을 파악하는 데 사용됩니다.

 

4-5. 커뮤니티 탐지(Community Detection)

커뮤니티 탐지는 네트워크 안에서 서로 강하게 연결된 집단을 찾아내는 방법입니다.

 

① WALKTRAP 알고리즘

• random walk를 이용하여 커뮤니티를 탐지
• 각 정점을 하나의 커뮤니티로 시작해 점차 병합

② Edge Betweenness Method

• edge가 최단경로에 얼마나 많이 포함되는지를 이용
• 매개성이 높은 edge를 제거하면서 커뮤니티를 분리

4-6. 사회연결망 분석의 활용

사회연결망 분석은 다음과 같은 분야에서 활용됩니다.

• 영향력 있는 고객 탐색
• 추천 시스템
• 정보 확산 경로 분석
• 조직 내 커뮤니케이션 분석
• 이탈 고객 예측
• 집단 구조 분석

즉, 단순히 “누가 누구와 연결되어 있는가”를 보는 수준을 넘어,
누가 영향력이 큰지, 어떤 집단이 형성되는지, 정보가 어떻게 퍼지는지를 분석하는 데 활용됩니다.

---

5. 시험 직전 암기 포인트

연관분석

• 지지도: 전체 중 함께 나온 비율
• 신뢰도: X일 때 Y가 나올 확률
• 향상도: 우연보다 더 강한 연관인가
• Lift = 1 이면 독립
• Apriori는 후보 생성 기반
• FP-Growth는 FP-Tree 기반

텍스트 마이닝

• 비정형 텍스트에서 정보 추출
• Corpus = 문서 집합
• tm, KoNLP, wordcloud 패키지 자주 출제
• 감성분석, 문서분류, 워드클라우드 활용

사회연결망 분석

• 노드와 링크로 관계를 모델링
• Degree / Closeness / Betweenness / Eigenvector 구분
• 커뮤니티 탐지 알고리즘: WALKTRAP, Edge Betweenness
• 영향력 있는 고객, 집단 구조, 확산 분석에 활용

---

마무리 정리

이번 글에서는 ADP 필기에서 자주 나오는
연관분석, 텍스트 마이닝, 사회연결망 분석 파트를 한 번에 정리했습니다.

이 단원은 단순 암기보다 비교해서 이해하는 공부가 중요합니다.

• 지지도 vs 신뢰도 vs 향상도
• Apriori vs FP-Growth
• 정확도 vs 재현율
• 연결정도 중심성 vs 근접 중심성 vs 매개 중심성 vs 위세 중심성

시험 직전에는 위 비교쌍을 중심으로 다시 보면 훨씬 정리가 잘 됩니다.