학습의 세 가지 방식 (Supervised, Unsupervised, Reinforcement)

난이도: 초급
선수 지식: 머신러닝이란 무엇인가
관련 문서: 모델·학습·예측 | 군집화 | 강화학습

핵심 요약: 정답이 있으면 지도 학습, 없으면 비지도 학습, 정답 대신 점수만 있으면 강화 학습이다. 지도 학습은 “이 사진은 고양이”라고 알려주고 배우게 하고, 비지도 학습은 라벨 없이 “비슷한 것끼리 묶어봐”만 시키며, 강화 학습은 정답 대신 잘했는지 못했는지 점수만 주고 시행착오로 익히게 한다. 실무 문제의 대부분은 지도 학습이다.

초보자를 위한 핵심 용어

• 라벨(Label) / 정답(Target): 우리가 맞히고 싶은 값. “이 메일은 스팸이다”, “이 집은 5억이다”의 스팸과 5억.
• 지도 학습(Supervised Learning): 입력과 정답이 짝지어진 데이터로 학습. 가장 흔하고 가장 잘 작동한다.
• 비지도 학습(Unsupervised Learning): 정답 없이 데이터의 구조만 보고 학습. 결과가 맞는지 채점해 줄 사람이 없다.
• 강화 학습(Reinforcement Learning): 정답 대신 보상(reward)만 받고 시행착오로 학습.
• 분류(Classification) vs 회귀(Regression): 지도 학습의 두 갈래. 답이 범주면 분류(스팸/정상), 연속된 숫자면 회귀(집값).

개요

머신러닝을 나누는 가장 기본적인 기준은 “학습할 때 정답을 주는가”이다. 이 하나의 질문으로 세 갈래가 갈린다.

방식	입력	무엇을 배우는가	대표 문제
지도 학습	입력 + 정답	입력 → 정답의 대응 관계	스팸 분류, 집값 예측
비지도 학습	입력만	데이터의 숨은 구조	고객 세분화, 이상 탐지
강화 학습	상태 + 보상	보상을 최대화하는 행동 규칙	게임, 로봇 제어

비유: 세 가지 수업 방식과 같다. 지도 학습은 문제집에 정답이 달려 있는 것이다 — 풀고 채점하고 틀린 것을 고친다. 비지도 학습은 정답지 없이 “이 문제들을 비슷한 유형끼리 묶어봐”라고만 시키는 것이다. 묶은 결과가 맞는지 아무도 알려주지 않는다. 강화 학습은 자전거 배우기다 — “핸들을 3.2도 틀어라”라고 알려주는 사람은 없고, 넘어지면 아프고 잘 가면 신날 뿐이다.

---

탄생 배경

세 갈래는 각각 다른 학문적 뿌리에서 왔다.

• 지도 학습은 통계학의 회귀 분석에서 자랐다. 가우스의 최소제곱법(1801)까지 거슬러 올라가며, “입력으로 출력을 설명한다”는 발상 자체가 200년 넘게 다듬어진 것이다.
• 비지도 학습은 탐색적 데이터 분석 전통에서 나왔다. 1957년 Stuart Lloyd가 제안한 알고리즘(오늘날 K-Means)이 대표적이며, “데이터가 스스로 말하게 하라”는 관점이다.
• 강화 학습은 심리학의 행동주의와 제어 이론에서 왔다. 1950년대 벨만의 동적 계획법이 수학적 기반을 놓았고, 1998년 Sutton & Barto의 교과서가 분야를 정립했다.

세 갈래가 “머신러닝”이라는 한 우산 아래 묶인 것은 비교적 최근이며, 지금도 쓰이는 도구와 평가 방식이 서로 상당히 다르다.

---

핵심 개념

1. 지도 학습 (Supervised Learning)

가장 흔하고, 가장 잘 작동하며, 실무 ML의 대부분을 차지한다.

필요한 것: 입력 $x$와 정답 $y$가 짝지어진 데이터.

$(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$

두 갈래로 나뉜다.

	답의 형태	예시	대표 지표
분류(Classification)	범주	스팸/정상, 개/고양이/새	정밀도·재현율
회귀(Regression)	연속된 숫자	집값, 기온, 매출	RMSE·MAE

가장 큰 제약은 라벨링 비용이다. 의료 영상에 “종양 있음/없음”을 달려면 전문의가 필요하고, 수만 장이면 비용이 감당하기 어려워진다.

2. 비지도 학습 (Unsupervised Learning)

정답이 없으므로 “무엇이 비슷한가”나 “무엇이 이상한가”만 배울 수 있다.

유형	하는 일	예시
군집화	비슷한 것끼리 묶기	고객 세분화
차원 축소	중요한 축만 남기기	시각화, 압축
이상 탐지	다수와 다른 것 찾기	사기 거래, 설비 고장

가장 큰 어려움은 평가다. 정답이 없으니 “이 군집이 맞는가”를 채점할 방법이 없다. 실루엣 계수 같은 내부 지표를 쓰지만, 결국 사람이 결과를 보고 의미가 있는지 판단해야 한다.

3. 강화 학습 (Reinforcement Learning)

정답 대신 보상만 주어진다. 그리고 결정적으로, 지금의 행동이 나중의 상황을 바꾼다.

• 에이전트가 환경에서 행동을 하고
• 보상과 새로운 상태를 받고
• 이를 반복하며 정책(어떤 상황에서 어떤 행동을 할지)을 개선한다

지도 학습과의 결정적 차이는 “정답이 없을 뿐 아니라, 보상이 한참 뒤에 온다”는 점이다. 바둑에서 30수째의 좋은 수는 200수 뒤 승리로만 확인된다.

그래서 강화 학습은 시행착오가 안전하고 값싼 환경(게임, 시뮬레이터)에서 특히 강하고, 실패 비용이 큰 현실 문제에는 적용이 까다롭다.

숫자로 이해하기

같은 고객 데이터 1,000명으로 세 가지를 해 보자.

하고 싶은 것	필요한 것	방식
”이 고객이 이탈할까?”	과거 이탈 여부 라벨 1,000개	지도 학습
”고객을 몇 개 유형으로 나눌 수 있나?”	라벨 불필요	비지도 학습
”언제 어떤 쿠폰을 줘야 매출이 최대인가?”	쿠폰을 줘 보고 매출 변화를 관찰	강화 학습

주목할 점은 데이터는 같은데 얻을 수 있는 답이 다르다는 것이다.

• 라벨이 없으면 아무리 데이터가 많아도 이탈 예측은 불가능하다.
• 반대로 군집화는 라벨 없이 지금 당장 할 수 있다.
• 강화 학습은 데이터를 가지고 있는 것만으로는 부족하다 — 직접 행동해 보고 결과를 봐야 한다.

그래서 실무의 첫 질문은 항상 “라벨이 있는가, 만들 수 있는가, 비용은 얼마인가”다.

---

상세 내용

경계에 있는 방식들

세 갈래는 깔끔히 나뉘지 않는다. 실무에서 중요한 중간 지대가 있다.

방식	설명
준지도 학습(Semi-supervised)	라벨이 일부만 있을 때. 라벨 100개 + 라벨 없는 10만 개
자기지도 학습(Self-supervised)	데이터 자체에서 정답을 만들어낸다. 문장에서 단어를 가리고 맞히기 — 현대 LLM의 학습 방식
전이 학습(Transfer Learning)	남이 대량 데이터로 학습한 모델을 가져와 조금만 손보기

특히 자기지도 학습은 “라벨이 비싸다”는 지도 학습의 근본 제약을 우회했기 때문에, 오늘날 대규모 모델의 토대가 되었다.

---

언제 사용하는가

판단 순서는 대체로 이렇다.

1. 맞히고 싶은 값이 명확한가? → 예: 지도 학습으로 간다
2. 그 값의 과거 기록(라벨)이 있는가?
   • 있다 → 지도 학습
   • 일부만 있다 → 준지도·자기지도·전이 학습
   • 없고 만들기도 비싸다 → 라벨 없이 할 수 있는 것으로 문제를 다시 정의
3. 맞힐 값이 아니라 “구조”가 궁금한가? → 비지도 학습
4. 행동이 다음 상황을 바꾸고, 보상만 관찰 가능한가? → 강화 학습

---

실전 사례

라벨이 없어서 문제를 바꾼 팀

한 제조 회사가 설비 고장 예측 모델을 만들려 했다. 센서 데이터는 3년치가 쌓여 있었지만, 정작 “이 시점에 고장이었다”는 기록이 없었다. 정비 기록은 종이 문서였고 시각 정보도 부정확했다.

지도 학습은 불가능했다. 팀은 두 갈래로 나눠 접근했다.

1. 비지도 학습으로 시작: 정상 운전 구간의 센서 패턴을 학습시키고, 그 패턴에서 크게 벗어나는 구간을 이상으로 표시했다. 정답이 없으니 정확도는 알 수 없었지만, 정비팀이 확인할 후보를 좁혀 주는 역할은 했다.
2. 그 결과로 라벨을 만들었다: 정비팀이 이상 구간을 검토하며 “실제 고장 / 오탐”을 표시했고, 6개월 뒤 라벨 800건이 쌓였다. 그때부터 지도 학습으로 전환했다.

핵심은 “라벨이 없다”가 프로젝트의 끝이 아니라는 것이다. 비지도 학습을 라벨을 만드는 도구로 쓰면 지도 학습으로 가는 다리를 놓을 수 있다.

---

직접 해보기

from sklearn.datasets import make_classification, make_blobs
from sklearn.linear_model import LogisticRegression
from sklearn.cluster import KMeans

# 지도 학습: 정답(y)이 있다 -> "이 입력의 답은 무엇인가"를 배운다
X, y = make_classification(n_samples=200, n_features=4, random_state=0)
sup = LogisticRegression(max_iter=1000).fit(X, y)
print(f"지도 학습   : 정답 y 사용 O   훈련 정확도 {sup.score(X, y):.3f}")

# 비지도 학습: 정답이 없다 -> "무엇끼리 비슷한가"만 배운다
Xb, true_group = make_blobs(n_samples=200, centers=3, random_state=0)
uns = KMeans(n_clusters=3, n_init=10, random_state=0).fit(Xb)
print(f"비지도 학습 : 정답 y 사용 X   찾아낸 군집 수 {len(set(uns.labels_))}")

# 실행 결과:
# 지도 학습   : 정답 y 사용 O   훈련 정확도 0.960
# 비지도 학습 : 정답 y 사용 X   찾아낸 군집 수 3

주목할 점은 비지도 학습 쪽 코드에는 y가 아예 등장하지 않는다는 것이다. make_blobs가 true_group을 돌려주긴 하지만 fit()에 넣지 않았다.

그래서 KMeans가 찾은 군집 번호 0, 1, 2는 아무 의미가 없다. “0번 군집이 우량 고객”이라고 말해 주는 사람이 없고, 그것을 해석하는 것은 전적으로 사람의 몫이다. 정답이 없다는 것은 채점도 없다는 뜻이다.

---

흔한 오해와 함정

1. “비지도 학습이 지도 학습보다 고급이다” — 난이도가 아니라 목적이 다르다. 라벨이 있다면 거의 항상 지도 학습이 더 정확하고 평가도 쉽다.

2. “라벨이 없으니 비지도 학습을 쓰자” — 먼저 라벨을 만들 수 있는지 따져야 한다. 소량이라도 라벨을 만들면 준지도·전이 학습으로 훨씬 나은 결과를 얻는 경우가 많다.

3. “군집화 결과가 곧 고객 유형이다” — 알고리즘은 수치적으로 비슷한 것을 묶었을 뿐이다. 그것이 비즈니스적으로 의미 있는 구분인지는 사람이 검증해야 한다.

4. “강화학습이 최신이고 강력하다” — 강화학습은 시행착오가 값싼 환경에서 강하다. 실패 비용이 큰 현실 문제(의료, 금융)에서는 적용이 매우 까다롭다.

5. “자기지도 학습은 비지도 학습이다” — 라벨이 없다는 점은 같지만, 자기지도는 데이터에서 정답을 만들어내 실질적으로 지도 학습처럼 훈련한다.

---

스스로 점검하기

1. 고객 데이터는 있는데 “이탈했다”는 기록이 없다. 이탈 예측 모델을 만들 수 있는가?

정답 보기

지도 학습으로는 불가능하다. 맞히려는 값의 정답이 없으면 학습할 대상이 없다. 대안은 ① 라벨을 만들 방법을 찾거나(과거 로그에서 정의를 도출), ② 비지도 학습으로 이상 고객을 찾아 라벨 후보를 만든 뒤 지도 학습으로 넘어가는 것이다.

2. 분류와 회귀를 가르는 기준은 무엇인가?

정답 보기

답의 형태다. 답이 범주(스팸/정상, 개/고양이)면 분류, 연속된 숫자(집값, 기온)면 회귀다. 둘 다 지도 학습이며, 쓰는 평가 지표가 완전히 다르다.

3. 강화 학습이 지도 학습과 근본적으로 다른 점 두 가지는?

정답 보기

① 정답 대신 보상만 주어지고, 그 보상이 한참 뒤에 온다(지연 보상). ② 지금의 행동이 다음 상황을 바꾼다 — 지도 학습은 각 샘플이 독립이지만 강화학습은 순차적 의사결정이다.

---

다른 주제와의 연결

• 머신러닝이란 무엇인가: 규칙 기반과의 차이
• 모델·학습·예측: “학습한다”의 실제 동작
• 군집화: 대표적인 비지도 학습
• 강화학습: 심화 내용
• 자기지도 학습: 라벨 없이 지도 학습처럼