윤리적 AI (Ethical AI)

난이도: 초급~중급
선수 지식: 혼동 행렬
관련 문서: 공정성 지표 | 대규모 언어 모델 | ML을 쓰지 말아야 할 때

핵심 요약: AI가 편향되지 않고 공정하게 작동하는지 확인해야 한다. 데이터에 과거의 차별이 담겨 있으면, 모델은 그 차별을 그대로 학습하고 증폭시킨다.

초보자를 위한 핵심 용어

편향(Bias): 모델이 특정 그룹을 불공정하게 대우하는 경향. 학습 데이터에 담긴 역사적 차별이 주된 원인이다.
공정성(Fairness): 모델의 예측이 성별, 인종 등 보호 속성에 관계없이 동등한 품질을 제공하는 것.
설명 가능성(Explainability): 모델이 왜 그런 예측을 했는지 이해할 수 있는 능력. SHAP, LIME 등의 도구가 대표적.
프록시 변수(Proxy Variable): 보호 속성(성별)을 직접 사용하지 않아도, 간접적으로 성별을 추론할 수 있는 변수. 예: 여자 대학교 이름, 특정 동아리.

개요

AI 시스템은 학습 데이터, 모델 설계, 배포 방식에 내재된 편향(bias)을 반영하고 증폭시킬 수 있다. 윤리적 AI는 공정성(fairness), 설명 가능성(explainability), 책임성(accountability)을 고려하여, AI 시스템이 사회적으로 유익하고 해를 최소화하도록 하는 것을 목표로 한다. 이는 기술적 문제일 뿐 아니라 사회적, 법적, 철학적 문제이기도 하다.

비유: 편향(Bias)은 “깨진 거울”과 같다. 모델은 데이터에 있는 역사적 차별을 반사할 뿐이다. 거울이 왜곡되어 있으면 비춰지는 상(像)도 왜곡된다. 데이터에 과거의 차별이 담겨 있으면, 모델은 그 차별을 충실히 학습하고, 더 나아가 증폭시킨다. 거울을 탓하기 전에, 거울에 비추는 것(데이터)을 먼저 점검해야 한다.

탄생 배경

AI 윤리가 학문적 논의에서 법률과 규제의 영역으로 이동한 것은, 2016년부터 2020년 사이에 연이어 터진 대형 사건들 때문이었다.

주요 사건 타임라인:

연도	사건	영향
2016	COMPAS 재범 예측 편향 폭로 (ProPublica)	흑인 피고인의 False Positive 비율이 백인의 2배. AI 공정성 논의의 시발점
2016	Microsoft Tay 챗봇 사건	출시 24시간 만에 인종차별 발언 학습. AI 안전 문제 부각
2018	Amazon 채용 AI 편향 발견 및 폐기	여성 지원자를 체계적으로 불이익. 기업 AI 윤리 감사 필요성 대두
2019	Apple Card 성차별 논란	동일 조건에서 여성의 신용 한도가 낮게 설정. 금융 AI 규제 강화
2020	Clearview AI 논란	수십억 장의 얼굴 이미지를 무단 수집하여 안면인식 DB 구축. 개인정보와 감시 문제
2020	영국 A-Level 알고리즘 사태	COVID-19로 시험 취소 후 알고리즘으로 성적 산출, 저소득층 학생 불이익. 결국 철회

학문에서 법률로의 전환:

이러한 사건들이 축적되면서, AI 윤리는 더 이상 “있으면 좋은 것(nice-to-have)“이 아니라 “반드시 있어야 하는 것(must-have)“으로 인식이 전환되었다.

2018: EU의 GDPR 시행으로 “자동화된 의사결정에 대한 설명 요구권”이 법적 권리로 확립
2019: OECD AI 원칙 채택, 42개국이 AI 윤리 가이드라인에 합의
2021: EU AI Act 초안 발표, 고위험 AI 시스템에 대한 법적 규제 프레임워크 제시
2024: EU AI Act 발효(8월). 세계 최초의 포괄적 AI 규제법이지만, 의무는 한꺼번에가 아니라 단계적으로 적용된다 — 금지 관행 2025년 2월 → 범용 AI(GPAI) 의무 및 제재 2025년 8월 → 고위험 시스템 및 집행 권한 2026년 8월
2026: 한국 AI 기본법 시행(1월 22일). EU가 단계적으로 적용하는 것과 달리 전면 시행은 한국이 세계 최초다

AI 윤리는 이제 기술자의 선의에 의존하는 것이 아니라, 법률과 규제에 의해 강제되는 엔지니어링 요구사항이 되었다.

핵심 개념

1. 학습 데이터의 편향 (Bias in Training Data)

편향 유형	설명	예시
Historical Bias	과거의 차별이 데이터에 반영	과거 채용 데이터에 성별 편향
Representation Bias	특정 그룹의 과소/과대 대표	얼굴 인식 데이터의 인종 불균형
Measurement Bias	측정 방법 자체의 편향	특정 지역의 범죄 보고 편향
Selection Bias	데이터 수집 과정의 편향	온라인 설문의 디지털 격차

실제 사례:

Amazon 채용 AI: 이력서 평가 모델이 여성 지원자를 체계적으로 불리하게 평가 (과거 채용 데이터의 성별 편향 학습)
얼굴 인식: 어두운 피부색에서 오인식률이 높음 (학습 데이터의 인종 불균형)
COMPAS 재범 예측: 흑인 피고인에 대한 false positive 비율이 더 높음

2. 공정성 지표 (Fairness Metrics)

지표	정의	수식
Demographic Parity	그룹 간 긍정 예측 비율 동일	$P(\hat{Y}=1\mid A=0) = P(\hat{Y}=1\mid A=1)$
Equalized Odds	그룹 간 TPR, FPR 동일	$P(\hat{Y}=1\mid Y=y, A=0) = P(\hat{Y}=1\mid Y=y, A=1)$
Predictive Parity	그룹 간 PPV 동일	$P(Y=1\mid \hat{Y}=1, A=0) = P(Y=1\mid \hat{Y}=1, A=1)$

불가능성 정리 (Impossibility Theorem): Chouldechova (2017)는 기저율(base rate)이 다른 그룹에 대해 Demographic Parity, Equalized Odds, Predictive Parity를 동시에 만족시키는 것이 불가능함을 증명하였다.

→ 어떤 공정성 기준을 우선할지는 도메인과 맥락에 따른 가치 판단의 문제이다.

3. 설명 가능성 (Explainability)

SHAP (SHapley Additive exPlanations)

게임 이론의 Shapley value에 기반한 설명 도구이다.

모델 불가지론적(model-agnostic): 어떤 모델에도 적용 가능
지역적 + 전역적 설명: 개별 예측과 전체 모델 모두 설명
시각화: Summary plot, Dependence plot, Force plot

LIME (Local Interpretable Model-agnostic Explanations)

개별 예측 주변에서 해석 가능한 모델(선형 모델)을 학습하여 설명한다.

빠르지만 불안정할 수 있음 (동일 입력에 다른 설명이 나올 수 있음)

기타 설명 기법

기법	적용 대상	방법
Grad-CAM	CNN	기울기 기반 클래스 활성화 맵
Attention Visualization	Transformer	어텐션 가중치 시각화
Integrated Gradients	신경망	입력 기여도의 적분
Decision Tree 추출	복잡한 모델	모사 모델로 규칙 추출

Intrinsic vs Post-hoc:

Intrinsic: 본래 해석 가능한 모델 (선형 회귀, 결정 트리, 규칙 기반)
Post-hoc: 사후에 설명을 생성하는 도구 (SHAP, LIME, Grad-CAM)

4. 책임 있는 AI 실천 (Responsible AI Practices)

실천 항목	설명
모델 카드 (Model Cards)	모델의 용도, 한계, 평가 결과 문서화
데이터시트 (Datasheets)	데이터 수집 과정, 편향 위험 문서화
영향 평가 (Impact Assessment)	배포 전 사회적 영향 분석
Human-in-the-Loop	고위험 결정에 인간 검토 포함
정기적 감사 (Audit)	모델의 공정성을 지속적으로 평가

숫자로 이해하기

채용 모델이 공정한지 숫자로 확인해 보자. 두 그룹이 각각 1,000명씩 지원했다.

그룹 지원자 합격 합격률
A 1,000명 300명 30%
B 1,000명 180명 18%

Demographic Parity 차이:

$0.30 - 0.18 = 0.12$

Disparate Impact 비율 (불리한 그룹 ÷ 유리한 그룹):

$\frac{0.18}{0.30} = 0.60$

미국 고용 차별 판단에서 널리 쓰이는 “80% 규칙”에 따르면 이 비율이 0.8 미만이면 차별의 정황 증거로 본다. 0.60은 명백히 기준 미달이다.

주의: 이 지표만으로 “차별했다”고 단정할 수는 없다. 두 그룹의 실제 자격 분포가 다르다면 합격률 차이는 정당할 수도 있다. 그래서 Equalized Odds(실제 자격이 있는 사람들 사이의 합격률 비교) 같은 다른 기준도 함께 봐야 하며, 어떤 공정성 기준을 택할지 자체가 기술이 아닌 가치 판단이다.

그룹	지원자	합격	합격률
A	1,000명	300명	30%
B	1,000명	180명	18%

상세 내용

공정성-정확도 Trade-off

공정성-정확도 Trade-off 다이어그램

편향 완화 기법

시점	기법	설명
학습 전	데이터 균형화, 리샘플링	편향된 데이터 보정
학습 중	공정성 제약 추가, 적대적 학습	모델이 보호 속성에 무관하도록
학습 후	임계값 조정, 보정(calibration)	그룹별 결정 경계 조정

AI 규제 동향

한국 — AI 기본법 (「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」, 2026년 1월 22일 시행): 국내 실무자가 실제로 준수 의무를 지는 법이므로 가장 먼저 확인해야 한다. 위험 기반 접근을 채택해 규제를 두 범주에 집중한다.
- 고영향 인공지능(High-impact AI): 사람의 생명·신체 안전이나 기본권에 중대한 영향을 줄 수 있는 영역(의료, 채용, 대출 심사 등). 사업자에게 위험관리, 설명 가능성 확보, 이용자 보호, 사람에 의한 감독 등의 의무를 부과한다
- 생성형 인공지능(Generative AI): 산출물이 AI로 생성되었음을 표시(고지)할 의무
한국 — 그 외: 개인정보보호법상 자동화된 결정에 대한 정보주체의 권리(설명 요구·거부권), 분야별 AI 윤리 기준
EU — AI Act: 고위험 AI 시스템에 대한 투명성, 공정성, 인간 감독 요구. 위 연표대로 단계적 적용
미국: 연방 차원의 포괄법 대신 부문별 규제 (금융, 의료, 채용 등) + 주(state) 단위 입법

언제 사용하는가

윤리적 AI 고려는 모든 ML 프로젝트에 적용되어야 하지만, 특히:

상황	윤리적 고려 수준
채용, 대출, 보험 결정	매우 높음 (법적 규제)
의료 진단	매우 높음 (생명 관련)
형사 사법	매우 높음 (자유 관련)
추천 시스템	높음 (필터 버블, 편향 강화)
광고 타겟팅	중간 (차별 가능성)
연구/내부 도구	기본 (데이터 편향 인식)

실전 사례

아마존 채용 AI의 흥망: 2014~2018

아마존의 채용 AI 시스템은 AI 윤리 분야에서 가장 많이 인용되는 사례 중 하나이다. 이 시스템의 전체 타임라인을 살펴보면, 편향이 어떻게 발생하고, 왜 수정이 어려운지를 명확히 이해할 수 있다.

전체 타임라인:

연도	단계	내용
2014	개발 시작	아마존의 ML 팀이 이력서 자동 평가 시스템 개발 착수. 과거 10년간의 채용 데이터를 학습 데이터로 사용
2015	편향 최초 발견	시스템이 “여성(women’s)“이라는 단어가 포함된 이력서에 감점을 부여한다는 것을 발견. 예: “여성 체스 클럽 회장” → 감점
2015~2016	1차 수정 시도	성별 관련 명시적 키워드를 제거. 그러나 모델은 프록시 변수(Proxy Variable)를 통해 성별을 간접적으로 학습 (예: 여자 대학교 이름, 특정 동아리)
2016~2017	2차 수정 시도	프록시 변수 제거 시도. 그러나 새로운 프록시가 계속 발견됨. 학습 데이터 자체가 남성 중심 채용 역사를 반영하고 있었기 때문
2017	근본적 한계 인식	팀은 학습 데이터의 Historical Bias를 기술적으로 완전히 제거하는 것이 불가능하다는 결론에 도달
2017	프로젝트 폐기	팀 해체 및 프로젝트 중단. 약 3년간의 개발 비용과 기회비용 손실
2018	외부 공개	Reuters 보도로 사건이 뒤늦게 알려지며, 기업 AI 윤리 감사의 대표 사례가 됨

핵심 교훈:

Historical Bias는 특성 제거로 해결되지 않는다: 보호 속성(성별)을 직접 제거해도, 데이터 내 수천 개의 간접적 상관관계(프록시)를 통해 편향이 재현된다
학습 데이터가 차별적이면, 모델도 차별적이다: 과거 10년간 기술 업계가 남성 중심이었다는 역사적 사실이 데이터에 그대로 반영되어 있었다
기술적 수정만으로는 부족하다: 편향 문제는 데이터 수집 방법, 라벨 정의, 평가 기준 등 ML 파이프라인 전체에 대한 재설계가 필요하다
조기 발견이 중요하다: 2015년에 편향을 발견했지만, 3년간 기술적 수정을 시도하다가 결국 폐기했다. 초기 단계에서 학습 데이터의 편향을 평가하는 프로세스가 있었다면 비용을 크게 줄일 수 있었다

직접 해보기

import numpy as np
rng = np.random.default_rng(0)
n = 4000
group = np.r_[np.zeros(n//2), np.ones(n//2)]          # 0=A그룹, 1=B그룹
qualified = rng.random(n) < 0.40                       # 실제 자격은 두 그룹 동일

# 모델 점수: 자격이 있으면 높지만, B그룹에는 체계적으로 불리한 편향이 섞였다
score = qualified*0.5 + rng.normal(0, 0.25, n) - group*0.20
pred = score > 0.30

print(f"{'그룹':>4} {'합격률':>9} {'자격자 중 합격(TPR)':>20}")
for g, name in [(0, "A"), (1, "B")]:
    m = group == g
    print(f"{name:>4} {pred[m].mean():>9.3f} {pred[m & qualified].mean():>20.3f}")

rA, rB = pred[group==0].mean(), pred[group==1].mean()
tA, tB = pred[(group==0)&qualified].mean(), pred[(group==1)&qualified].mean()
print(f"\nDemographic Parity 차이 = {rA-rB:.3f}")
print(f"Disparate Impact 비율   = {rB/rA:.3f}  ({'80% 규칙 위반' if rB/rA<0.8 else '통과'})")
print(f"Equal Opportunity 차이  = {tA-tB:.3f}  (자격자끼리만 비교해도 격차가 남는다)")

# 실행 결과:
#   그룹       합격률        자격자 중 합격(TPR)
#    A     0.392                0.791
#    B     0.211                0.496
#
# Demographic Parity 차이 = 0.181
# Disparate Impact 비율   = 0.540  (80% 규칙 위반)
# Equal Opportunity 차이  = 0.295  (자격자끼리만 비교해도 격차가 남는다)

세 지표가 서로 다른 것을 말한다. 합격률 차이는 0.181이고, 비율로 보면 0.540으로 80% 규칙에 크게 미달한다. 그리고 자격이 있는 사람들끼리만 비교해도 격차가 0.295 남는다(Equal Opportunity) — 이것은 “두 그룹의 자격 분포가 달라서”로 변명할 수 없는 격차다. 어떤 지표를 보느냐에 따라 결론이 달라지므로 여러 지표를 함께 봐야 한다.

흔한 오해와 함정

“모델이 보호 속성을 사용하지 않으면 공정하다”: 보호 속성(성별, 인종)을 제거해도 proxy variable(우편번호, 이름)을 통해 간접적으로 학습한다.
“공정성 지표 하나만 만족하면 된다”: 불가능성 정리에 의해 모든 기준을 동시에 만족할 수 없다. 어떤 기준이 맥락에 적합한지 신중히 선택해야 한다.
“SHAP/LIME이 모델을 완전히 설명한다”: 이들은 근사적 설명이며, 모델의 실제 의사결정 과정을 완벽히 반영하지 않을 수 있다.
“기술적으로 해결할 수 있다”: 공정성은 기술적 문제인 동시에 사회적, 철학적 문제이다. 이해 관계자, 영향 받는 집단과의 대화가 필수적이다.
“편향은 데이터만의 문제”: 편향은 문제 정의, 라벨링, 특성 선택, 모델 설계, 평가 지표 선택 등 ML 파이프라인의 모든 단계에서 발생한다.

스스로 점검하기

1. 모델이 편향되었는지 어떻게 확인하는가?

정답 보기

성능 지표를 전체가 아니라 그룹별로 나눠 본다. 전체 정확도가 높아도 특정 그룹에서만 크게 낮을 수 있다. 여러 공정성 지표를 함께 확인해야 한다.

2. 한국에서 AI 서비스를 운영할 때 확인해야 할 법은?

정답 보기

AI 기본법(2026년 1월 시행)이다. 고영향 AI에 대한 사업자 의무와 생성형 AI 결과물 표시 의무를 규정한다. 개인정보보호법상 자동화된 결정에 대한 정보주체의 권리도 함께 적용된다.

3. 편향을 기술적으로 완전히 제거할 수 있는가?

정답 보기

없다. 편향은 데이터 수집, 라벨 정의, 문제 설정 전반에 스며 있고, 공정성 기준들끼리도 동시에 만족될 수 없다. 기술적 완화와 함께 거버넌스·감사·투명성이 필요하다.

다른 주제와의 연결

ML을 사용하지 말아야 할 때: 윤리적 제약으로 ML 부적합
불균형 데이터: 소수 그룹 성능
특성 선택: SHAP 기반 설명
흔한 실수: 잘못된 지표 선택
ML 시스템 설계 패턴: 모니터링과 피드백 루프
생성 모델: 딥페이크의 윤리적 문제
LLM: RLHF와 AI 안전