[ADP 필기 요약]_4과목 데이터 분석_⑤

1. 기초 통계 분석

1. 기술통계(Descriptive Statistics)

자료의 특성을 표/그림/통계량으로 정리해 한눈에 파악하게 해주는 방법

 

✅ 통계량으로 자료 요약

• 중심 위치의 측도
  • 평균(Mean): 전체 합 / 개수
  • 중앙값(Median): 순서대로 정렬했을 때 가운데 값
  • 최빈값(Mode): 가장 자주 등장하는 값

 

팁 : 이상치(outlier)에 민감한 정도
      평균(민감) > 중앙값(덜 민감)

 

 

• 산포(흩어짐)의 측도
  • 분산(Variance), 표준편차(Standard Deviation): 변동성의 대표 지표
  • 범위(Range): 최대-최소 (이상치에 매우 민감)
  • 사분위수범위(IQR): Q3 - Q1 (이상치에 비교적 강건)
  • 변동계수(CV): 표준편차/평균 → 단위가 다른 데이터 비교에 유용
  • 표준오차(SE): 표본평균의 표준편차(= 평균 추정의 불확실성)

 

• 표준편차 vs 표준오차
  • 표준편차: “데이터 자체가 얼마나 흩어졌나”
  • 표준오차: “평균을 얼마나 정확히 추정했나”

 

• 분포의 형태
  • 왜도(Skewness): 비대칭 정도
    • 오른쪽 꼬리가 길면 양(+)의 왜도(right-skewed)
    • 왼쪽 꼬리가 길면 음(-)의 왜도(left-skewed)
  • 첨도(Kurtosis): 뾰족함/꼬리 두꺼움 정도
    • 첨도가 크면 중심이 더 뾰족하고 꼬리가 두꺼운 경향

✅ 그래프로 자료 요약

• 범주형 자료: 막대그래프, 파이차트, 모자이크 플롯
• 연속형 자료: 히스토그램, 줄기-잎 그림, 상자그림(Boxplot)

팁 : “분포 모양 확인”은 히스토그램
       “이상치/중앙값/IQR 확인”은 박스플롯이 강력

 

 

2. 변수 관계의 이해(산점도/공분산)

✅ 용어 정리

• 종속변수(반응변수, y): 결과(설명할 대상)
• 독립변수(설명변수, x): 원인/설명(설명에 쓰는 변수)
• 산점도(Scatter Plot): 두 연속형 변수 관계 시각화
• 산점도에서 체크할 것
  • 선형 관계가 있는가?
  • 비선형(곡선) 관계가 있는가?
  • 이상치(outlier)가 있는가?
  • 집단이 여러 개로 뭉쳐 보이는가(군집/그룹 존재)?

✅ 공분산(Covariance)

• 두 변수의 “함께 움직임”을 수치화
• 식:Cov(X,Y)=E[(X−μX)(Y−μY)]\mathrm{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]Cov(X,Y)=E[(X−μX​)(Y−μY​)]
• X, Y가 독립이면 공분산은 0(단, 공분산이 0이라고 항상 독립은 아님 → 비선형 관계일 수 있음)

공분산의 한계: 단위(scale)에 영향을 받아 해석이 직관적이지 않음
→ 그래서 “표준화된 공분산”인 상관계수를 주로 사용

 

 

3. 상관분석(Correlation Analysis)

✅ 정의

• 두 변수 간 관계를 상관계수로 측정하는 방법
• r ≈ 1: 강한 양의 상관
• r ≈ -1: 강한 음의 상관
• r ≈ 0: 선형 상관 거의 없음
  (하지만 비선형 관계는 있을 수 있음)

 

주의: 상관은 인과가 아닙니다(시험에서 자주 강조).

 

 

✅ 상관계수의 가설검정

• 귀무가설(H₀): r = 0 (상관 없음)
• 대립가설(H₁): r ≠ 0 (상관 있음)

p-value < 0.05라면(보통 유의수준 5%)
→ “상관이 0이라고 보기 어렵다” → 표본 상관계수 활용 가능

 

✅ 상관계수 유형 정리

구분	피어슨(Pearson)	스피어만(Spearman)
관계	선형 관계	단조 관계(증가/감소만 유지)
데이터	등간/비율척도(연속형)	순서척도 가능(순위 기반)
가정	(보통) 정규성/선형성 가정	비모수적(가정 약함)
계수	피어슨 r	스피어만 ρ(로우)
R	cor(x, y, method="pearson")	cor(x, y, method="spearman")

시험 팁

“순위/서열/이상치 많음/정규성 의심” → 스피어만
“연속형 + 선형” → 피어슨

---

2. 통계분석 방법론

1. t-검정(t-test)

t-검정은 평균 차이를 검정합니다. (종속변수는 보통 연속형)

 

✅ 일표본 t-검정(One-sample t-test)

• 한 집단의 평균이 기준값(μ₀)과 같은지 검정
• 예: “우리 공정의 평균 두께가 10mm인가?”
• 가정(대표)
  • 모집단이 (근사적으로) 정규분포
  • 표본은 독립
• 절차
  • 가설 설정
    • H₀: μ = μ₀
    • H₁: μ ≠ μ₀ (또는 >, <)
  • 유의수준 α 설정(보통 0.05)
  • t 통계량 계산 및 p-value 산출
  • 판단
    • p-value < α → H₀ 기각
    • p-value ≥ α → H₀ 기각 못함

 

✅ 대응표본 t-검정(Paired t-test)

• 같은 대상에게 전/후 처리를 했을 때 평균 변화(차이)를 검정
• 예: 같은 직원의 교육 전/후 점수, 같은 환자의 복용 전/후 혈압
• 핵심 아이디어
  • “두 표본의 차이(d = after - before)”를 하나의 표본처럼 보고
    → d의 평균이 0인지를 t-검정
• 가정
  • 차이값 d가 정규성을 만족(또는 표본 수가 충분히 큼)

 

✅ 독립표본 t-검정(Independent two-sample t-test)

• 서로 다른 두 집단의 평균 차이를 검정
• 예: 남/여 연봉, A공정 vs B공정 평균 불량수
• 가정
  • 두 집단은 서로 독립
  • 각 집단이 정규성(또는 대표본)
  • (전통적으로) 등분산 가정을 확인하기도 함
    • 실무/시험에서는 “등분산이면 pooled t”, 아니면 Welch t-test를 사용
  • 등분산 검정
    • H₀: 두 집단 분산이 동일
    • H₁: 두 집단 분산이 동일하지 않음

시험 포인트: “등분산 가정 위배 시” 대안으로 Welch t-test 언급 가능

 

2. 분산분석(ANOVA)

ANOVA는 2개 이상 집단 평균 차이를 검정합니다.
(t-검정을 여러 번 하면 1종 오류가 누적되기 때문에 ANOVA를 사용)

 

• 핵심 아이디어 : 총 변동 = 집단 간 변동 + 집단 내 변동
• 집단 간 변동: 집단 평균들이 얼마나 떨어져 있는가(신호)
• 집단 내 변동: 같은 집단 안에서 얼마나 흩어져 있는가(잡음)

 

✅  일원배치 분산분석(One-way ANOVA)

• 하나의 범주형 요인(그룹)이 연속형 반응값에 미치는 영향을 검정
• 가정
  • 독립성
  • 정규성(각 집단 내)
  • 등분산성(집단 간)
• ANOVA 표(분산분석표)

Source	SS	df	MS	F	p-value
Between(집단 간)	SSB	k-1	MSB	MSB/MSW	…
Within(오차)	SSW	N-k	MSW
Total(전체)	SST	N-1

• SST = SSB + SSW
• MS = SS / df
• F = MSB / MSW
  → “집단 차이(신호)가 오차(잡음)보다 얼마나 큰가?”
• 가설
  • H₀: k개 집단의 모평균이 모두 같다
  • H₁: 적어도 하나의 집단 평균은 다르다
• 사후검정(Post-hoc)
  • ANOVA에서 H₀가 기각되면,
    “어느 집단끼리 차이가 나는지”를 추가로 확인
  • 예: Tukey HSD, Bonferroni 등
• R 참고
  • 그룹 변수는 factor여야 함
  • aov(y ~ group, data=df)
  • summary(aov_model)로 ANOVA 표 확인

 

✅ 이원배치 분산분석(Two-way ANOVA)

• 두 개의 범주형 요인(A, B)이 연속형 반응값에 미치는 영향 + 교호작용(Interaction) 검정
• 주효과(Main effect): A의 효과, B의 효과
• 교호작용(A×B): A의 효과가 B 수준에 따라 달라지는지

 

 

 

✅ 실험계획법(DOE, Design of Experiments)

• DOE는 프로세스/시스템 결과에 영향을 주는 인자를 찾고, 효율적으로 실험을 설계하는 방법
• DOE 기본 원리(빈출 5개)

1. 랜덤화(Randomization): 순서를 무작위로
2. 반복(Replication): 동일 조건에서 2회 이상 반복
3. 블록화(Blocking): 시간/장소/작업자 등 외부 요인을 블록으로 통제
4. 직교화(Orthogonality): 요인 간 독립적(직교) 설계
5. 교락(Confounding): 구분 불필요한 고차 교호작용을 블록과 혼합

• 대표 설계 개념(요약)
  • 요인배치법(요인실험): 모든 요인 조합을 실험(교호작용까지 추정 가능)
    • 단점: 요인/수준이 늘면 실험 수 폭증 (K^N)
  • 분할법(Split-plot): 완전 랜덤화가 어려운 요인이 있을 때 단계적으로 랜덤화
  • 난괴법(블록 설계): 실험단위를 블록으로 묶어 오차 감소
  • 교락법: 블록 사용/실험 횟수 감소 과정에서 일부 효과가 구분되지 않도록 의도적으로 배치

 

3. 교차분석(카이제곱 검정, χ²)

• 교차분석은 범주형 변수 2개의 관계를 검정할 때 사용합니다.
• 대표적으로 적합도/독립성/동질성 검정, 검정통계량은 χ²입니다.

✅ 적합도 검정(Goodness-of-fit)

• 관측도수(O)가 이론적 분포(기대도수 E)와 일치하는지 검정
• H₀: 관측 분포 = 이론 분포
• H₁: 관측 분포 ≠ 이론 분포

R 참고: chisq.test(x, p=...)

 

✅ 독립성 검정(Independence test)

• 한 모집단에서 두 범주형 변수 A, B가 서로 독립인지 검정
• H₀: A와 B는 독립
• H₁: A와 B는 독립이 아님(연관 있음)
• 교차표(분할표) 기반으로 계산

✅ 동질성 검정(Homogeneity test)

• 여러 모집단(집단)에서 범주형 결과 분포가 동일한지 검정
• 계산 형태는 독립성 검정과 거의 동일(교차표 기반)
• 차이점: “표본을 여러 모집단에서 따로 뽑았다”는 설정

 

4. 중심극한정리(CLT)

• 중심극한정리는 ADP에서 “정규성/표집분포” 연결고리로 매우 중요
• 모집단 분포가 무엇이든,
• 표본 크기 n이 커지면,
• 표본평균의 분포(표집분포)는 정규분포에 가까워진다.

모집단 평균이 μ, 분산이 σ²이면
표본크기 n에서 표본평균 Xˉ\bar{X}Xˉ는 대략

Xˉ∼N(μ,σ2n)\bar{X} \sim N\left(\mu,\frac{\sigma^2}{n}\right)Xˉ∼N(μ,nσ2​)

즉, n이 커질수록 표본평균은 μ에 더 가까워지고(분산 감소) 평균 추정이 안정됩니다.

---

요약(시험장에서 빠르게 떠올리기)

• 기술통계: 중심/산포/왜도·첨도 + 그래프 종류
• 관계: 공분산(단위 영향) → 상관(표준화)
• 평균 검정: t-test(1표본/대응/독립)
• 3집단 이상: ANOVA(F), 이후 사후검정
• 범주형×범주형: χ²(적합도/독립성/동질성)
• CLT: 표본평균의 분포가 정규로 수렴, 분산은 σ²/n