[ADP 필기 요약]_1과목 데이터의 이해_②

1. 빅데이터의 이해

1-1. 빅데이터 3V / 5V / 7V

가트너(Gartner)에서 더그 레이니(Doug Laney)가 Volume–Velocity–Variety(3V) 관점으로 정리한 것

 

✅ 3V

• Volume(양): 데이터 규모
• Variety(다양성): 데이터 종류/형태/소스
• Velocity(속도): 생성·수집·처리 속도

✅ 5V (3V에 보통 아래 두 개가 추가)

• Veracity(진실성/신뢰성): 정확도·품질·신뢰
• Value(가치): 활용 가치/비즈니스 가치

 

1-2. 빅데이터 정의 범주

✅ 데이터 변화 → 기술 변화 → 인재/조직 변화

• 데이터 변화(3V): 규모/형태/속도
• 기술 변화: 분산 저장·처리, 분석 기술, 아키텍처, 클라우드 활용
• 인재/조직 변화: 데이터 사이언티스트, 데이터 중심 조직

 

1-3. 빅데이터의 “비유(기능)” 4종 세트

비유 핵심	의미	포인트
산업혁명의 석탄·철	생산성 혁명(기반 자원)	“산업 전체를 바꿈”
21세기의 원유	가치 창출 자원	“가공(정제)해야 가치”
렌즈	세상을 더 잘 보게 함(관점 확장)	데이터가 ‘현미경’ 역할
플랫폼	공동 활용 구조물(생태계)	카톡/페북 같은 플랫폼

 

✅ ① 산업혁명의 석탄·철

• 핵심 의미: 생산성을 획기적으로 끌어올린 산업혁명의 기반 자원
• 시험 포인트: “사회/경제/문화/생활 전반의 혁명적 변화” 같은 표현이 보이면 이쪽
• 한 줄 정리: ‘기반 자원’ = 산업 전반을 바꾸는 힘

✅ ② 21세기의 원유(Oil)

• 핵심 의미: 데이터를 ‘가공(정제)’하면 큰 가치를 만든다
• 시험 포인트(함정 방지): 원유는 “그 자체로” 가치가 아니라 정제/가공 후 가치가 커짐
• 한 줄 정리: 데이터는 분석을 거쳐야 돈(가치)이 된다

✅ ③ 렌즈(Lens) (+ Ngram Viewer 같이 기억해두기)

• 핵심 의미: 렌즈가 현미경을 가능하게 해 생물학 발전에 기여했듯, 데이터는 산업을 “더 잘 보게” 만들어 발전을 돕는다
• 시험 포인트: “관점 확장/가시성/보이지 않던 패턴을 보게 함” 같은 문장 → 렌즈 비유
• 연관 예시: Ngram Viewer처럼 대규모 텍스트에서 추세를 ‘보이게’ 만드는 사례(“보이는화/관찰” 느낌)

✅ ④ 플랫폼(Platform)

• 원문 표현 유지(중요): “공동 활용의 목적으로 구축된 유무형의 구조물”
• 핵심 의미: 사람들이/기업이 함께 쓰는 기반 위에서 서비스·생태계가 확장됨
• 예시: 카카오톡, 페이스북 같은 플랫폼 비즈니스
• 시험 포인트: “공동 활용/생태계/네트워크 효과”가 나오면 플랫폼

 

1-4. 빅데이터가 만들어낸 변화 4가지

1. 사전처리 → 사후처리
2. 표본조사 → 전수조사 (가능해짐)
3. 질 → 양 (대량 데이터 기반)
4. 인과관계 → 상관관계 (인과를 “증명”하기보다 패턴/상관으로 활용)

 

2. 빅데이터의 이해_②

2-1. 빅데이터 가치 산정이 어려운 이유

1. 데이터 활용 방법 : 재사용/재조합/다목적이 일반화 → 누가 언제 어디에 쓸지 모름
2. 새로운 가치 창출 : 기존에 없던 가치를 창출
3. 분석 기술 발전 : 새로운 분석 기법 등장에 따라 “쓸모없던 데이터”가 갑자기 핵심 데이터가 될 수 있음

 

2-2. 빅데이터 활용 기본 테크닉

연관규칙	함께 사는 조합 찾기	“커피 산 사람이 탄산 음료를 더 많이 살까?
유형(군집/세그먼트)	어떤 집단에 속하는지	“이 사용자는 어떤 유형을 가진 집단에 속할까?
유전자 알고리즘	최적 조합 탐색	“최대의 시청률을 얻으려면 어떤 시간대에 방송해야 할까?
기계학습	패턴 학습 후 예측	“시청 기록을 바탕으로 시청자가 어떤 것을 가장 보고 싶어 할까?
회귀분석	수치 관계/영향	“나이가 차 구입에 어떤 영향을 미치는가?
감정분석	텍스트 감정/평판	“새로운 정책에 대한 고객의 평가는 어떨까?
소셜네트워크분석	관계망 구조/중심성	“고객들 간 관계망은 어떻게 구성되어 있을까?

 

2-3. 위기 요인 ↔ 통제 방안

1. 사생활 침해 → 동의에서 책임으로(책임 강조)

• 개인정보 활용이 늘어나면서 “모든 걸 사전 동의로만 해결하기 어려워짐” → 데이터를 사용하는 주체(기업/기관/개인)에게 책임(책임성·보호 의무)을 더 강하게 요구하는 방향
• 키워드 : 익명화/가명처리/비식별화
• 예시
  1. SNS/위치 데이터 노출: “여행 중”이라고 올린 글(위치/시간)이 단서가 되어 빈집털이 위험이 커지는 사례
  2. 위치 기반 앱: 러닝 앱이 사용자 이동 경로를 공개 → 특정인의 집/직장 위치가 추정되는 문제
  3. 구매·검색 기록: 특정 질병 관련 검색/구매 이력이 유출되어 민감정보 노출로 이어지는 상황

2. 책임 원칙 훼손 → 결과 기반 책임 원칙 고수

• 알고리즘이 예측/분류했다고 해서 “그 사람을 미리 처벌하거나 불이익”을 주면 책임 원칙이 흔들릴 수 있음 → 실제 결과(행위/사실) 기반으로 책임을 묻는 원칙을 지키자는 방향
• 예시
  1. 범죄 예측 시스템: 특정 지역/특정 성향을 “범죄 가능성 높음”으로 판단 → 실제 범죄를 저지르기 전에 과도한 감시/검문이 이뤄지는 사례
  2. 대출/보험 거절: 개인의 실제 상환 이력과 무관하게, “유사 집단 통계” 때문에 대출이 거절되거나 보험료가 과도하게 오르는 경우
  3. 채용 자동 필터링: 특정 학교/지역/성별 패턴을 학습한 모델이 지원자를 자동 탈락시켜 설명 없이 기회가 박탈되는 상황

3. 데이터 오용 → 알고리즘 접근 허용(투명성/검증 가능)

• 데이터나 지표를 잘못 쓰면 “현실을 왜곡”하고, 그 왜곡이 다시 의사결정에 반영됨 → 알고리즘/지표가 어떻게 작동하는지 검증 가능한 수준의 접근(투명성)이 필요하다는 취지
• 예시
  1. 지표가 목표가 되는 순간(왜곡): ‘성과평가 지표’가 생기면 사람들이 실제 목표보다 지표 수치만 올리는 행동을 하는 사례
  2. 전쟁/성과 지표 오용 사례(대표 예시 스타일): “적군 사망자 수”를 전쟁 진척의 핵심 지표로 사용 → 현장에서 과장 보고가 늘어 결과적으로 상황 판단을 오보하게 되는 문제
  3. 추천/광고 알고리즘 오용 : 클릭률만 최적화하다 보니 자극적인 콘텐츠가 우선 노출 → 편향/극단화가 강화되는 상황

 

3. 빅데이터의 이해_③

3-1. 빅데이터 활용의 3요소

• 데이터: 모든 것의 데이터화(Datafication)
• 기술: 진화하는 알고리즘/AI
• 인력: 데이터 사이언티스트, 알고리즈미스트(Algorithmist)

 

3-2. 빅데이터 회의론 원인

• 부정적 학습효과: 과거 CRM의 경우 공포 마케팅(모든 문제를 한번에 해소할 것처럼 강조됨), 투자 대비 효과 미흡
• 부적절한 성공사례: 빅데이터가 필요 없어도 되는 분석을 “빅데이터 성과”로 과대 포장
  → 결론: 빅데이터 자체가 아니라 ‘분석으로 가치 만드는 것’이 핵심

 

3-3. 산업별 ‘일차원적 분석’ 예시

• 금융: 신용점수, 사기탐지, 가격, 트레이딩, 클레임 분석, 고객수익성
• 병원: 가격, 로열티, 수익관리
• 에너지: 트레이딩, 공급/수요 예측
• 정부: 사기탐지, 사례관리, 범죄방지, 수익 최적화

---

🔥 주요 학습 요약

✅ 3V: Volume / Variety / Velocity
✅ 5V 추가: Veracity / Value
✅ 변화: 사전→사후, 표본→전수, 질→양, 인과→상관
✅ 위기요인 매칭: 사생활(동의→책임) / 책임원칙(결과책임) / 오용(알고리즘 접근)