콘텐츠로 이동

ML을 사용하지 말아야 할 때 (When NOT to Use ML)

개요

ML은 강력하지만 만능은 아니다. 많은 경우, 규칙 기반 시스템, 통계적 방법, 또는 단순한 휴리스틱이 ML보다 효과적이고 비용 효율적이다. ML의 도입은 개발, 유지보수, 데이터 수집, 모니터링 등의 비용을 수반하므로, 이 비용이 성능 개선의 가치를 초과하지 않는지 반드시 평가해야 한다.

핵심 개념

1. 규칙 기반 대안이 충분한 경우

상황 예시 이유
비즈니스 규칙이 명확 "금액 > 100만 원이면 승인 불가" 규칙이 간단하고 변하지 않음
규칙 10개 이내 단순한 의사결정 트리 복잡도가 낮음
설명 가능성 필수 법적 규제가 있는 결정 ML의 블랙박스 특성이 문제
결정적 출력 필요 같은 입력에 항상 같은 출력 ML의 확률적 특성이 부적합

규칙 기반의 장점: 투명성, 디버깅 용이, 배포 간단, 유지보수 쉬움, 데이터 불필요

2. 데이터가 부족한 경우

데이터 크기 추천 접근
수십 건 규칙 기반, 전문가 시스템
수백 건 간단한 통계 모델, 소수의 규칙
수천 건 간단한 ML (로지스틱 회귀, 트리)
수만 건+ ML이 효과적

라벨링 비용이 매우 높은 경우: - 의료 영상 라벨링 (전문의 필요) - 법률 문서 분류 (변호사 필요) - Few-shot/Zero-shot 학습 고려

경험적 최소 데이터 규모 추정:

\[n \geq 10 \cdot \frac{d}{\epsilon^2}\]

여기서 \(n\)은 최소 샘플 수, \(d\)는 특성(feature) 수, \(\epsilon\)은 허용 오차이다. 이른바 "10배 규칙"에 따르면, 특성 수의 최소 10~20배 이상의 샘플이 확보되어야 ML 모델이 안정적으로 학습할 수 있다.

3. 기타 ML이 부적합한 경우

상황 설명
데이터 품질이 매우 낮음 "Garbage In, Garbage Out" — ML이 노이즈를 학습
인과관계 추론이 필요 ML은 상관관계를 학습, 인과관계가 아님
비용 대비 효과 불명확 개발/유지 비용 > 성능 개선 가치
윤리적/법적 제약 특정 정보(인종, 성별)를 사용할 수 없는 경우
해결책이 이미 있음 기존 시스템이 충분히 잘 작동
문제가 정의되지 않음 "뭔가 개선하고 싶다"는 ML 문제가 아님

상세 내용

ML 도입 의사결정 플로우차트

flowchart TD
    A["문제 해결이 필요한가?"] -->|예| B["문제를 명확히 정의할 수 있는가?"]
    A -->|아니오| Z["ML 불필요"]

    B -->|예| C["규칙 기반으로 해결 가능한가?"]
    B -->|아니오| Z

    C -->|예| D["규칙 기반이 충분한 성능인가?"]
    C -->|아니오| E["충분한 데이터가 있는가?"]

    D -->|예| Z
    D -->|아니오| E

    E -->|예| F["ML의 ROI가 양수인가?"]
    E -->|아니오| G["데이터 수집이 가능한가?"]

    G -->|예| F
    G -->|아니오| Z

    F -->|예| H["✅ ML 도입"]
    F -->|아니오| Z

ROI (투자 수익률) 분석

ML 도입의 비용: - 데이터 수집 및 라벨링 - 모델 개발 (엔지니어/연구자 인건비) - 인프라 (GPU, 서버, 스토리지) - 모니터링 및 유지보수 - 재학습 파이프라인

ML 도입의 가치: - 성능/정확도 개선의 비즈니스 가치 - 자동화에 의한 인건비 절감 - 사용자 경험 개선 - 경쟁 우위

ML 도입의 ROI는 다음과 같이 정량화할 수 있다:

\[\text{ROI}_{\text{ML}} = \frac{\text{Value}_{\text{ML}} - \text{Value}_{\text{baseline}} - \text{Cost}_{\text{ML}}}{\text{Cost}_{\text{ML}}}\]

여기서 \(\text{Value}_{\text{ML}}\)은 ML 도입 후 기대 가치, \(\text{Value}_{\text{baseline}}\)은 기존 방법의 가치, \(\text{Cost}_{\text{ML}}\)은 ML 도입 총비용이다. ML 도입이 정당화되려면 \(\text{ROI}_{\text{ML}} > 0\)이어야 한다.

규칙 기반 대비 한계 이득(marginal gain)은 다음과 같다:

\[\Delta V = V_{\text{ML}} - V_{\text{rule-based}}\]

\(\Delta V\)가 ML 도입 비용을 초과하는지가 핵심 판단 기준이다.

핵심 질문: "이 문제에 ML을 적용했을 때의 한계 이득(marginal gain)이 규칙 기반 대비 충분히 큰가?"

ML을 도입하기 전에 시도할 것들

  1. 도메인 전문가의 규칙: 전문가 인터뷰로 핵심 규칙을 추출
  2. 간단한 통계: 기술 통계, 상관관계, 빈도 분석
  3. SQL 쿼리 기반 분석: 집계, 필터, 임계값
  4. A/B Testing: ML 없이도 간단한 변경의 효과 측정
  5. 기존 도구 활용: 이미 검증된 비ML 솔루션

언제 사용하는가

이 장의 내용은 ML 도입 여부를 판단해야 하는 모든 상황에 적용된다.

의사결정 이론에서 완전 정보의 기대 가치(EVPI)를 활용하면 ML 도입 여부를 정량적으로 판단할 수 있다:

\[\text{EVPI} = \mathbb{E}[\text{Value with perfect info}] - \mathbb{E}[\text{Value with current info}]\]

EVPI는 예측을 완벽하게 개선했을 때 얻을 수 있는 최대 추가 가치이다. \(\text{EVPI} < \text{Cost}_{\text{ML}}\)이면, 아무리 완벽한 ML 모델을 만들어도 비용을 정당화할 수 없으므로 ML 도입의 근거가 없다.

특히 다음 질문에 "아니오"가 나오면 ML을 재고해야 한다: - 문제를 명확한 입력-출력 관계로 정의할 수 있는가? - 충분한 양과 질의 데이터가 있는가? - ML이 기존 방법보다 의미 있는 개선을 가져올 것으로 기대되는가? - 유지보수 비용을 감당할 수 있는가?

흔한 오해와 함정

  1. "모든 문제에 AI를 적용해야 한다": ML은 도구이지 목적이 아니다. 문제에 맞는 가장 간단한 해결책을 먼저 시도하라.

  2. "ML이 규칙 기반보다 항상 우월하다": 규칙이 명확하고 안정적인 문제에서는 규칙 기반이 더 신뢰할 수 있고, 유지보수가 쉽다.

  3. "데이터가 적어도 딥러닝이면 된다": 데이터가 부족하면 아무리 강력한 모델도 일반화할 수 없다. 전이 학습이나 few-shot learning을 고려하되, 근본적 한계를 인식하라.

  4. 유지보수 비용 과소평가: 모델은 배포 후에도 데이터 drift 모니터링, 재학습, 인프라 관리가 필요하다. 이 지속적 비용이 초기 개발 비용보다 클 수 있다.

  5. "인과관계를 ML로 파악할 수 있다": ML은 상관관계를 학습한다. 인과관계 분석에는 A/B Testing, 인과 추론(causal inference) 기법이 필요하다.

다른 주제와의 연결