대규모 언어 모델 (Large Language Models, LLM)

난이도: 초급~중급
선수 지식: 트랜스포머 — 개념만 알아도 충분합니다
관련 문서: 트랜스포머 | Few-Shot/Zero-Shot | 모델 배포

핵심 요약: 수십억 개의 파라미터를 가진 텍스트 생성 모델 — GPT, Claude, LLaMA 등이 대표적이다. 대규모 텍스트로 사전학습(Pre-training)한 뒤, RLHF(인간 피드백 강화학습)로 인간의 의도에 정렬한다.

초보자를 위한 핵심 용어

LLM(Large Language Model): 수십~수천억 개의 파라미터를 가진 대규모 언어 모델. “다음 단어 예측”을 통해 언어를 학습한다.
토큰(Token): 모델이 텍스트를 처리하는 최소 단위. 영어는 단어 1개가 보통 1~2토큰이고, 한국어는 최신 토크나이저 기준으로 한 음절이 대략 1토큰 수준이다. 같은 내용을 담아도 한국어가 영어보다 토큰을 더 쓰므로 비용과 컨텍스트를 더 소모한다.
RLHF(Reinforcement Learning from Human Feedback): 인간 평가자가 “어떤 답변이 더 좋은지” 비교 데이터를 만들고, 이를 통해 모델을 인간의 선호에 맞게 정렬하는 학습 방법.
환각(Hallucination): 모델이 사실이 아닌 내용을 자신감 있게 생성하는 현상. LLM은 “패턴 재생성 장치”이지 사실 검증 도구가 아니다.
Prompt Engineering: 모델에 입력하는 질문/지시를 잘 설계하여 원하는 결과를 얻는 기법. “단계별로 생각해보세요”가 대표적 예시.
RAG(Retrieval-Augmented Generation, 검색 증강 생성): 답변 전에 관련 문서를 검색해 프롬프트에 함께 넣어주는 방식. 재학습 없이 최신·사내 지식을 반영하고 환각을 줄이는 표준 방법이다.
MoE(Mixture of Experts, 전문가 혼합): 여러 전문가 네트워크 중 토큰마다 소수만 골라 계산하는 구조. “전체 파라미터”는 크지만 “토큰당 활성 파라미터”는 작다.
테스트 타임 컴퓨트(Test-Time Compute): 답하기 전에 모델이 추론 과정을 길게 생성하도록 해서 성능을 높이는 방식. 모델을 더 키우는 대신 생각을 더 오래 하게 만드는 접근이다.

개요

대규모 언어 모델(LLM)은 수십~수천억 개의 파라미터를 가진 Transformer 기반 언어 모델로, 대규모 텍스트 데이터에서 사전 학습(pre-training)된 후 다양한 과제에 적용된다. GPT, BERT, LLaMA, Claude 등이 대표적이며, 텍스트 생성, 질의응답, 번역, 코드 생성 등 광범위한 NLP 과제에서 인간 수준에 근접하거나 이를 넘어서는 성능을 보여주고 있다.

비유: LLM은 세상의 거의 모든 글을 읽은 뒤 “다음에 올 말”을 맞히는 훈련만 반복한 존재다. 놀라운 점은 이 단순한 훈련만으로 번역, 요약, 코딩까지 하게 된다는 것이다. 하지만 여기서 결정적인 한계도 나온다 — LLM이 하는 일은 “사실을 확인하는 것”이 아니라 “그럴듯한 다음 말을 고르는 것”이다. 그래서 존재하지 않는 판례도 완벽한 형식으로 지어낸다.

탄생 배경

LLM의 역사는 하나의 논문에서 시작된다. 2017년 Google Brain 팀이 발표한 “Attention Is All You Need”는 RNN/LSTM을 대체하는 Transformer 아키텍처를 제안했고, 이것이 이후 모든 LLM의 기반이 되었다.

2018년 GPT-1 (OpenAI): 1.17억 파라미터. Transformer 디코더로 비지도 사전 학습 후 fine-tuning하는 패러다임을 제시했다
2018년 BERT (Google): 3.4억 파라미터. 양방향 Masked Language Model로 NLP 벤치마크를 석권했다
2019년 GPT-2 (OpenAI): 15억 파라미터. “너무 위험해서 공개할 수 없다”며 단계적 공개로 AI 윤리 논쟁을 촉발했다
2020년 GPT-3 (OpenAI): 1,750억 파라미터. Few-shot learning과 In-Context Learning 능력을 보여주며, 스케일링의 위력을 증명했다
2022년 ChatGPT (OpenAI): GPT-3.5에 RLHF를 적용하여 출시. 2개월 만에 1억 사용자를 돌파하며 AI를 대중화시켰다
2023~2024년: GPT-4, Claude, Gemini, LLaMA 등이 경쟁하며 멀티모달, 긴 컨텍스트, 추론 능력 등에서 급속한 발전이 이루어졌다
2024년~: MoE(Mixture of Experts, 전문가 혼합) 구조가 확산되어, 전체 파라미터는 크되 토큰 하나당 실제로 계산에 쓰이는 파라미터는 작은 모델이 표준이 되었다. 컨텍스트 길이가 수십만~100만 토큰대로 늘고, 텍스트·이미지·오디오를 하나의 모델이 처리하는 네이티브 멀티모달이 일반화되었다
2024년 말~: 테스트 타임 컴퓨트(Test-Time Compute) 패러다임 등장. 답을 내기 전에 모델이 긴 추론 과정을 스스로 생성하도록 학습시켜(정답을 기계적으로 채점할 수 있는 과제에 강화학습을 적용, RLVR), 사전학습 규모를 키우지 않고도 수학·코딩·과학 추론 성능을 크게 끌어올렸다. OpenAI o1이 이 방향을 대중화했고, DeepSeek-R1은 규칙 기반 보상만으로도 자기 검증·자기 수정 행동이 나타남을 보였다
도구 사용과 에이전트: 모델이 검색·코드 실행·외부 API를 스스로 호출하고 여러 단계에 걸쳐 작업을 수행하는 에이전트(Agent) 형태가 실무의 주된 활용 방식이 되었다

이 타임라인의 핵심 교훈은 스케일링(모델 크기 + 데이터 크기 + 계산량)이 질적 변화를 만든다는 것이다. 다만 2024년 말 이후로는 스케일링의 축이 하나 더 생겼다 — 기존의 학습 시점(train-time) 스케일링에 더해, 추론 시점(test-time)에 연산을 더 쓰는 방향이 열린 것이 최근 몇 년의 가장 큰 변화다.

핵심 개념

1. 토큰화 (Tokenization)

텍스트를 모델이 처리할 수 있는 토큰 단위로 분할하는 과정이다.

방법	설명	사용 모델
BPE (Byte Pair Encoding)	가장 빈번한 바이트 쌍을 반복 병합	GPT, LLaMA
WordPiece	BPE 유사, likelihood 기반 병합	BERT
SentencePiece	언어 독립적, Unigram 모델 포함	T5, LLaMA

한국어 특수성: 한국어는 교착어로, 형태소 분석 기반 토큰화가 효과적이다. 자모 분리, 음절 단위, 형태소 단위 등 다양한 접근이 존재한다.

Vocabulary 크기: 너무 작으면 OOV(미등록어) 문제, 너무 크면 희소 토큰 문제. 초기 GPT-4는 약 100K였고 이후 모델들은 20만 규모까지 어휘를 키웠으며, LLaMA는 32K~128K다. 어휘를 키운 주된 이유 중 하나가 비영어 텍스트의 토큰 효율 개선이다.

2. 사전 학습 목적 함수 (Pre-training Objectives)

목적 함수	방향	수식	대표 모델
Causal LM (CLM)	단방향 (→)	$P(x_t \mid x_{<t})$	GPT
Masked LM (MLM)	양방향	$P(x_t \mid x_{\backslash t})$	BERT
Span Corruption	양방향	연속 토큰 구간 마스킹	T5
Prefix LM	혼합	일부 양방향 + 일부 단방향	UniLM

BERT MLM 상세: 입력의 15%를 선택하여:

80%는 [MASK]로 대체
10%는 랜덤 토큰으로 대체
10%는 원본 유지

3. 스케일링 법칙 (Scaling Laws)

Kaplan et al. (2020)

모델의 loss는 모델 크기( $N$ ), 데이터 크기( $D$ ), 계산량( $C$ )의 power law를 따른다:

$L(N) \propto N^{-\alpha_N}, \quad L(D) \propto D^{-\alpha_D}$

Chinchilla (Hoffmann et al., 2022)

최적 배분: 모델과 데이터를 동일 비율로 확장해야 한다.

280B Gopher보다 4배 작은 70B Chinchilla를 4배 많은 데이터(1.4조 토큰)로 학습했더니 오히려 더 우수했다
경험칙: 파라미터 1개당 학습 토큰 약 20개가 계산 예산 대비 최적 (Chinchilla-optimal)
시사점: 대부분의 LLM이 under-trained (데이터 대비 모델이 너무 큼)

세 번째 축 — 테스트 타임 컴퓨트 (Test-Time Compute)

Kaplan과 Chinchilla는 모두 학습 시점의 스케일링을 다룬다. 2024년 말부터는 여기에 축이 하나 더 붙었다: 답을 내기 전에 모델이 생각을 오래 하도록 만드는 것이다.

정답 여부를 기계적으로 채점할 수 있는 과제(수학, 코딩 등)에 강화학습을 적용하면(RLVR, Reinforcement Learning with Verifiable Rewards), 모델은 스스로 긴 추론 과정을 생성하고 중간에 오류를 되짚어 고치는 행동을 학습한다. 그 결과 사전학습 규모를 전혀 키우지 않고도 추론 성능이 크게 올라간다.

축	무엇을 늘리는가	비용이 드는 시점
학습 시점 스케일링	파라미터 수, 학습 토큰 수	학습 1회 (고정비)
테스트 타임 컴퓨트	답변 전 생성하는 추론 토큰 수	질의할 때마다 (변동비)

실무적 함의: 테스트 타임 컴퓨트는 공짜가 아니다. 답변 품질이 올라가는 대신 질의 1건당 토큰 비용과 지연 시간이 늘어난다. 쉬운 질문에까지 추론 모델을 쓰는 것은 낭비이므로, 난이도에 따라 모델을 나눠 쓰는 라우팅이 실무의 기본 패턴이 되었다.

3-1. MoE (Mixture of Experts, 전문가 혼합)

“모델이 크면 느리고 비싸다”는 제약을 깨는 구조다. 층마다 여러 개의 전문가(expert) 네트워크를 두고, 라우터(router)가 토큰마다 그중 소수만 골라 계산한다.

따라서 두 가지 파라미터 수를 구분해야 한다.

전체 파라미터(Total): 모델이 저장하고 있는 전체 크기 → 메모리를 결정
활성 파라미터(Active): 토큰 하나를 처리할 때 실제로 쓰는 양 → 계산량과 속도를 결정

모델	전체 파라미터	토큰당 활성 파라미터	비율
Mixtral 8x7B (2023)	46.7B	약 13B	약 28%
DeepSeek-V3 (2024)	671B	37B (256개 전문가 중 8개)	약 5.5%

흔한 오해: “671B 모델”이라고 하면 671B 밀집(dense) 모델과 같은 계산 비용이 들 것 같지만, 실제 토큰당 계산량은 37B 모델 수준이다. 다만 메모리에는 671B를 전부 올려야 한다 — 그래서 MoE는 “계산은 싸지만 메모리는 비싼” 구조다.

4. RLHF (Reinforcement Learning from Human Feedback)

사전 학습된 LLM을 인간의 선호도에 맞게 정렬(align)하는 기법이다.

4. RLHF (Reinforcement Learning from Human Feedback) 다이어그램 DPO (Direct Preference Optimization): 보상 모델 없이 직접 선호도를 학습한다. RLHF보다 단순하면서 유사한 성능을 달성한다.

Constitutional AI (CAI): AI가 원칙에 따라 자기 비평(self-critique)과 수정을 수행한다.

5. Prompt Engineering 기초

기법	설명	예시
Zero-shot	예시 없이 지시만	”이 문장을 번역하세요:“
Few-shot / ICL	입력에 예시 포함	”예시: … → … \n 질문: …”
Chain-of-Thought	단계별 추론 유도	”단계별로 생각해보세요.”
Role Prompting	역할/맥락 설정	”당신은 경험 많은 의사입니다.”

Prompt 설계 원칙:

구체적이고 명확하게
구조화된 출력 형식 요청
관련 맥락 제공
예시를 포함 (few-shot)

6. LLM 추론 최적화

기법	설명
KV-Cache	Key/Value를 캐시하여 재계산 방지
Speculative Decoding	작은 모델로 초안, 큰 모델로 검증
Continuous Batching	동적으로 배치 구성 (요청 완료 시 즉시 새 요청 추가)
Quantization	GPTQ, AWQ, GGUF로 모델 크기 축소. 최근 실무 기본선은 가중치 4-bit + 활성값 FP8
GQA/MQA	Key/Value head 수를 줄여 메모리 절감
PagedAttention	KV-Cache를 페이지 단위로 관리해 메모리 단편화 제거 (vLLM)
Prefix / Prompt 캐싱	여러 요청이 공유하는 프롬프트 앞부분의 KV를 재사용 — 긴 시스템 프롬프트에서 특히 효과적
Chunked Prefill	긴 입력의 prefill을 잘게 나눠 처리해 지연 시간 급증 방지

6-1. RAG · 도구 사용 · 에이전트

LLM을 실제 서비스에 붙일 때 가장 먼저 마주치는 문제는 모델이 모르는 것(학습 이후의 사실, 사내 문서)과 환각이다. 파인튜닝으로 지식을 밀어넣는 대신, 답변 시점에 외부에서 근거를 가져다 주는 방식이 표준이 되었다.

RAG (Retrieval-Augmented Generation, 검색 증강 생성)

문서를 잘게 나누고(chunking) 임베딩으로 바꿔 벡터 인덱스에 저장
질문이 들어오면 의미가 가까운 조각을 검색
검색된 조각을 프롬프트에 함께 넣어 모델이 그 근거만 보고 답하게 함

RAG의 장점	한계
최신·비공개 지식을 재학습 없이 반영	검색이 틀리면 답도 틀린다 (garbage in)
출처를 제시할 수 있어 검증 가능	컨텍스트가 길어져 비용·지연 증가
문서만 갱신하면 되므로 유지보수가 쉬움	여러 문서에 걸친 추론에는 여전히 약함

도구 사용(Tool Use)과 에이전트: 모델이 검색·계산기·코드 실행·사내 API를 스스로 호출하고, 결과를 보고 다음 행동을 정하는 방식이다. 여러 단계를 거쳐 목표를 달성하면 에이전트라 부른다.

실무 주의: 단계가 늘어날수록 오류가 누적된다. 각 단계 성공률이 95%라도 10단계면 전체 성공률은 $0.95^{10} \approx 60\%$ 다. 단계 수를 줄이고, 각 단계를 검증하며, 실패 시 되돌아갈 수 있게 설계하는 것이 핵심이다.

7. 주요 모델 계보

숫자로 이해하기

LLM API 비용이 얼마나 나올지 계산해 보자.

항목 값
사용자 수 10,000명
1인당 하루 질의 5회
요청당 입력 토큰 800
요청당 출력 토큰 300

$\text{하루 요청} = 10{,}000 \times 5 = 50{,}000$ $\text{입력} = 50{,}000 \times 800 = 4{,}000만 \text{토큰/일}$ $\text{출력} = 50{,}000 \times 300 = 1{,}500만 \text{토큰/일}$

입력 100만 토큰당 $3, 출력 100만 토큰당 $15라고 가정하면:

$40 \times \$3 + 15 \times \$15 = \$120 + \$225 = \$345\text{/일} \;\rightarrow\; 월 \;\$10{,}350$

프롬프트 캐싱을 적용하면? 입력의 70%가 매번 똑같은 시스템 프롬프트라 90% 할인이 적용된다고 하면 하루 $269로, 약 22% 절감된다.

주의: 위 단가는 설명을 위한 가정값이다. 실제 단가는 모델과 시점에 따라 크게 다르므로, 반드시 사용하는 모델의 최신 가격표로 다시 계산해야 한다. 중요한 것은 숫자가 아니라 “토큰이 곧 돈”이며 사용자 수에 비례해 선형으로 늘어난다는 구조다.

항목	값
사용자 수	10,000명
1인당 하루 질의	5회
요청당 입력 토큰	800
요청당 출력 토큰	300

상세 내용

Tokenization이 모델 성능에 미치는 영향

한국어에서 영어 중심 토크나이저를 사용하면:

한국어 한 글자가 여러 토큰으로 분해 → 토큰 효율 저하
동일한 문맥 길이에서 처리할 수 있는 텍스트 양 감소
비용 증가 (API 기준 토큰당 과금)

한국어 전용이거나 어휘가 큰 토크나이저를 쓰면 구형 영어 중심 토크나이저 대비 토큰 수가 눈에 띄게 줄어든다. 다만 최신 모델들이 어휘를 20만 규모로 키우면서 이 격차는 과거에 흔히 인용되던 2~3배보다 상당히 좁혀졌다. 정확한 수치는 모델마다 다르므로, 실제 사용할 모델의 토크나이저로 직접 측정해 보는 것이 가장 확실하다.

Emergent Abilities (창발적 능력)

특정 모델 규모 이상에서 갑자기 나타나는 능력:

Chain-of-Thought 추론
산술 연산
코드 생성

그러나 최근 연구는 이것이 평가 방법론의 아티팩트일 수 있다고 제안한다 (Schaeffer et al., 2023).

언제 사용하는가

상황	LLM 적합도	대안
범용 텍스트 생성	매우 적합	-
특정 도메인 분류	적합 (few-shot)	Fine-tuned BERT
대화형 AI	매우 적합	-
정형 데이터 분석	부적합	XGBoost, 통계 모델
실시간 짧은 지연시간	도전적	경량 모델
100% 정확도 필요	부적합	규칙 기반

실전 사례

LLM 환각: 가짜 판례를 법정에 제출한 변호사

2023년, 뉴욕의 변호사 Steven Schwartz는 항공사를 상대로 한 소송에서 ChatGPT를 사용하여 관련 판례를 조사했다. ChatGPT는 자신감 있는 어조로 6건의 판례를 인용했고, 변호사는 이를 검증하지 않은 채 법정 문서에 그대로 제출했다. 그러나 판사가 확인한 결과, 6건 모두 실존하지 않는 가짜 판례였다:

ChatGPT가 생성한 판례명, 사건 번호, 인용 문구는 모두 그럴듯해 보였지만, 실제로 존재하지 않는 환각(Hallucination)이었다
변호사는 법원 제재를 받았으며, 이 사건은 LLM의 사실성 한계를 전 세계에 알리는 계기가 되었다
이후 여러 법원에서 AI 생성 콘텐츠의 사실 확인을 의무화하는 규정을 도입했다

이 사례에서 얻을 수 있는 교훈:

LLM은 패턴 재생성 장치이지 사실 검증 도구가 아니다. 출력은 항상 독립적으로 검증해야 한다
자신감 있는 어조가 정확성을 보장하지 않는다. LLM은 틀린 내용도 확신에 찬 문체로 생성한다
고위험 도메인(법률, 의료, 금융)에서는 RAG(Retrieval-Augmented Generation)나 사실 확인 파이프라인이 필수적이다

직접 해보기

users, qpd, tok_in, tok_out = 10_000, 5, 800, 300
price_in, price_out = 3.0, 15.0          # 100만 토큰당 달러 (가정값)
req = users * qpd
daily_in, daily_out = req*tok_in, req*tok_out
cost = daily_in/1e6*price_in + daily_out/1e6*price_out
print(f"하루 요청 {req:,}건")
print(f"입력 {daily_in/1e6:.0f}M 토큰, 출력 {daily_out/1e6:.0f}M 토큰")
print(f"하루 ${cost:,.0f}  /  월 ${cost*30:,.0f}")
share, disc = 0.7, 0.9                   # 입력의 70%가 캐시 히트, 90% 할인
cached = daily_in*(1-share)/1e6*price_in + daily_in*share/1e6*price_in*(1-disc)
cost2 = cached + daily_out/1e6*price_out
print(f"\n프롬프트 캐싱 적용: 하루 ${cost2:,.0f}  ({1-cost2/cost:.0%} 절감)")

# 실행 결과:
# 하루 요청 50,000건
# 입력 40M 토큰, 출력 15M 토큰
# 하루 $345  /  월 $10,350
#
# 프롬프트 캐싱 적용: 하루 $269  (22% 절감)

토큰은 곧 돈이고, 사용자 수에 비례해 선형으로 늘어난다. 프롬프트 캐싱만으로 22%가 줄어드는 이유는 긴 시스템 프롬프트가 매 요청 반복되기 때문이다.

⚠️ 위 단가는 설명용 가정값이다. 실제 단가는 모델과 시점에 따라 다르므로 반드시 최신 가격표로 다시 계산할 것.

흔한 오해와 함정

“LLM은 진실을 말한다”: LLM은 학습 데이터의 패턴을 재생성한다. Hallucination(환각)이 발생하여 사실이 아닌 내용을 자신감 있게 생성할 수 있다.
“모델이 클수록 항상 좋다”: Chinchilla 연구가 보여주듯, 모델 크기보다 학습 데이터 양과의 균형이 중요하다.
“Prompt만 잘 짜면 된다”: Prompt Engineering은 유용하지만, 구조적 한계가 있다. 특정 도메인에서는 fine-tuning이 필수적이다.
“LLM이 모든 NLP 과제를 대체한다”: 짧은 지연시간, 높은 처리량, 저비용이 필요한 경우 소형 특화 모델이 더 적합하다.
API 비용 과소평가: 대규모 서비스에서 LLM API 비용은 매우 빠르게 증가한다. 비용 최적화 전략이 필요하다.

스스로 점검하기

1. LLM이 그럴듯한 거짓말(환각)을 하는 근본 원인은?

정답 보기

LLM은 사실을 검증하는 장치가 아니라 다음 토큰의 확률을 예측하는 장치다. 문법적·형식적으로 그럴듯한 것과 사실인 것을 구분하는 메커니즘이 내장되어 있지 않다.

2. Chinchilla 연구의 핵심 결론은?

정답 보기

계산 예산이 정해져 있다면 모델만 키울 게 아니라 모델 크기와 데이터를 함께 늘려야 한다는 것이다. 경험칙은 파라미터 1개당 학습 토큰 약 20개다.

3. MoE 모델에서 “전체 파라미터”와 “활성 파라미터”를 구분해야 하는 이유는?

정답 보기

전체 파라미터는 메모리를, 활성 파라미터는 계산량과 속도를 결정하기 때문이다. 671B MoE는 계산량이 37B 모델 수준이지만 메모리에는 671B를 전부 올려야 한다.

다른 주제와의 연결

Transformer: LLM의 기반 아키텍처
전이 학습: 사전 학습 + Fine-tuning / PEFT
어텐션 메커니즘: Multi-Head Attention, Flash Attention
모델 배포: 양자화, 서빙 최적화
Self-Supervised Learning: 사전 학습 방법론
Few-Shot/Zero-Shot: In-Context Learning
MLOps: LLM 서빙 및 모니터링
윤리적 AI: LLM의 편향과 안전