[태그:] severity-matrix

서론: AI 운영 런북이 왜 제품 안정성의 핵심인가

AI 제품이 프로덕션에 올라가면 모델 성능만으로 성공이 보장되지 않는다. 운영팀은 장애 신호, 모델 드리프트, 데이터 품질 붕괴, 비용 폭증 같은 사건을 일상적으로 다뤄야 한다. 이때 ‘런북’은 단순한 문서가 아니라, 사고 대응의 실행 체계를 표준화하는 운영 시스템이다. 런북이 잘 설계되면 누구든 같은 순서로 진단하고, 같은 기준으로 완화하고, 같은 방식으로 회고할 수 있다.

In production, reliability is a habit, not a feature. A runbook turns a vague incident response into an executable plan. It provides shared language, aligned decision criteria, and repeatable actions. Without it, the team improvises every time, which is expensive and risky.

특히 AI는 입력 데이터가 바뀌면 성능이 흔들리기 때문에, 전통적인 장애 대응보다 더 긴 호흡의 운영 체계가 필요하다. 런북은 단기 사고 대응과 장기 품질 관리의 연결 지점이 된다.

목차

1. 런북 설계 원칙
2. 사고 분류와 Severity 체계
3. 탐지에서 트리아지까지의 흐름
4. 진단 루프: 증상-원인 매핑
5. 완화 전략과 롤백 기준
6. 커뮤니케이션과 역할 배분
7. 자동화 지점과 수동 지점의 경계
8. 메트릭 설계: SLO, Error Budget
9. 데이터 품질 런북
10. LLM 응답 품질 런북
11. 보안/프라이버시 사고 런북
12. 포스트모템 문화와 지식 자산화
13. 교육/온보딩과 운영 지식 베이스
14. 대시보드 설계와 운영 관측성
15. 부록: 실행 가능한 템플릿

1) 런북 설계 원칙: 표준화와 유연성의 균형

런북은 체크리스트가 아니다. 체크리스트는 금지 규칙이지만, 런북은 상황별 의사결정을 담는 구조물이다. 운영팀이 빠르게 판단할 수 있도록 표준 흐름을 제공하되, 각 서비스 특성에 맞게 조정 가능한 유연성을 확보해야 한다. 예를 들어 ‘모델 성능 저하’ 사건과 ‘데이터 지연’ 사건은 다른 응답 루프가 필요하다.

Design principle: provide a default path, not a rigid path. The runbook should tell you “what to do first,” “what signals matter,” and “what choices are safe.” It should never lock the team into a single action when evidence is incomplete.

또한 런북은 문서가 아니라 운영 생태계의 일부다. 알람, 대시보드, 티켓, 회고 템플릿과 연결되어야 하며, 그 연결이 자동화로 구현될수록 효율이 높아진다. 문서 링크만 있는 런북은 현장에서 바로 실행되지 않는다.

2) 사고 분류와 Severity 체계

Severity 체계는 런북의 핵심 규칙이다. P1~P4 등급을 정의하고, 등급마다 목표 응답 시간, 책임자, 커뮤니케이션 레벨을 고정해야 한다. 이 체계가 없으면 장애가 커지기 전까지 아무도 움직이지 않거나, 반대로 작은 이슈에 과도한 리소스를 쏟게 된다.

Severity is a contract. It defines the expected response time, escalation path, and acceptable risk. If the model outputs unsafe content, it might be a P1. If a batch job is delayed but can catch up within SLA, it could be a P3.

아래 이미지는 Severity 기준과 책임 배분을 한눈에 정리한 컨트롤 매트릭스 개념이다.

또한 P 레벨별로 “고객 공지 타이밍”, “승인 필요 여부”, “데이터 백업 필수성”을 함께 정의하면 운영 일관성이 높아진다.

3) 탐지에서 트리아지까지의 흐름

탐지는 신호의 집합이다. 로그, 메트릭, 사용자 피드백, 모델 평가 리포트 등 다양한 입력이 들어온다. 런북은 이를 우선순위로 정렬하고, ‘실제 사고인지’ 판단하는 기준을 제공해야 한다. 예를 들어 “error rate 2% 상승”은 특정 시간대 트래픽 변동일 수 있다.

Triage is a decision gate. It answers: Is this real? Is it urgent? Who owns it? A good runbook includes a checklist of signals and a minimal reproduction protocol, so the responder can validate quickly.

실무에서는 ‘알람 확인 → 대시보드 스냅샷 저장 → 영향 범위 판단 → Severity 결정’ 순서가 가장 안정적이다. 이 흐름을 문서화하면 신규 인력이 들어와도 동일한 대응을 할 수 있다.

추가로, 트리아지 단계에서 “재현 가능성”을 반드시 기록해야 한다. 재현이 불가능한 사건은 재발 방지가 어렵기 때문에, 기록 자체가 핵심 운영 자산이 된다.

4) 진단 루프: 증상-원인 매핑

진단 루프는 “증상 → 가설 → 검증 → 원인 확정”의 반복이다. AI 시스템에서는 모델 자체 문제가 원인일 수도 있고, 데이터 파이프라인 지연이나 외부 API 장애가 원인일 수도 있다. 런북은 대표 증상과 흔한 원인을 연결하는 맵을 제공해야 한다.

Keep the diagnosis loop tight. The longer it takes to isolate the cause, the more the blast radius grows. Use quick tests: replay a small sample, compare to baseline, and verify upstream dependencies.

진단 루프가 안정적으로 동작하려면 ‘기준선’을 유지해야 한다. 베이스라인 성능, 정상 상태의 latency range, 정상 토큰 소비량이 문서화되어 있어야 이상 감지가 가능하다. 기준선이 없다면, 모든 판단이 개인 경험에 의존하게 된다.

5) 완화 전략과 롤백 기준

완화 전략은 “즉시 피해 확산을 막는 행동”이다. 모델 버전 롤백, 캐시 재활성화, 트래픽 제한, 기능 플래그 비활성화 등 여러 옵션이 있다. 런북은 각 완화 옵션의 트레이드오프를 정리해야 한다.

Mitigation is about buying time. A safe rollback can stabilize service while you investigate. A traffic throttle can protect infrastructure while you diagnose. The runbook should specify triggers and safe rollback paths.

다음 이미지는 런북 라이프사이클을 단계별로 정리한 시각화다. 운영팀이 어느 단계에 있는지 스스로 확인하게 해준다.

롤백 기준을 수치화하면 판단이 빨라진다. 예: “p95 latency 2.5s 초과 10분 지속 시 이전 버전 복귀”. 이런 기준은 감정이 아닌 데이터 기반 대응을 가능하게 한다.

6) 커뮤니케이션과 역할 배분

운영 사고는 기술 문제이지만, 커뮤니케이션 실패가 더 큰 피해를 낳는다. 런북은 역할을 명확히 분리해야 한다: Incident Commander, Tech Lead, Comms Owner. 담당자가 한 명이라도 중복되면 판단이 흔들린다.

Communication is a system. It should define who talks to stakeholders, who updates the status page, and who coordinates internal actions. You need a single source of truth to avoid confusion.

또한 “언제 외부 공지를 할 것인가”를 규칙화해야 한다. 고객 영향이 명확한 경우에는 최소한의 정보라도 빠르게 제공해야 신뢰를 지킬 수 있다. 내부 보고와 외부 공지의 타이밍을 분리해 두면 혼선을 줄일 수 있다.

7) 자동화 지점과 수동 지점의 경계

자동화는 런북의 실행력을 높인다. 그러나 모든 것을 자동화하면 대응이 경직된다. 예를 들어, P1 사고에서 자동 롤백을 수행하면 피해를 줄일 수 있지만, 원인 분석이 불가능해질 수도 있다. 따라서 “자동화는 완화, 수동은 진단”이라는 원칙을 세우는 것이 안전하다.

Automation should be reversible. The runbook should define the safe rollback of an automated action. If a bot disables a feature flag, a human should be able to re-enable it with clear criteria.

특히 AI 시스템은 데이터 드리프트가 느리게 발생하므로, 자동화는 경보와 리포트 생성에 집중하고, 실제 판단은 사람이 하도록 설계하는 것이 좋다.

8) 메트릭 설계: SLO와 Error Budget

런북은 메트릭 설계와 분리될 수 없다. SLO는 “허용 가능한 실패 범위”이며, Error Budget은 “실험과 개선을 위한 여유”를 의미한다. 런북은 Error Budget이 소진될 때 어떤 제한이 발동되는지 명확히 규정해야 한다.

SLOs are contracts with users, and error budgets are contracts with the engineering team. When the budget is exhausted, the runbook should enforce a stability-first mode: freeze experiments, reduce risky deployments, and focus on reliability.

AI 제품에서는 비용, 품질, 지연의 균형이 중요하다. 예를 들어 “p95 latency 2s 이하”라는 SLO를 세우면, 런북에서 자동 캐시 활성화나 모델 크기 축소 전략을 연결해야 한다. 비용 SLO를 추가하면 캐시 정책이나 배치 인퍼런스 전략도 연동된다.

9) 데이터 품질 런북

데이터 품질은 AI 성능의 기반이다. 런북에는 데이터 지연, 결측, 스키마 변경, 이상치 폭증 등 전형적인 장애 패턴을 명시해야 한다. 특히 학습 데이터와 서빙 데이터가 분리된 시스템에서는 두 개의 런북이 필요하다.

Data runbooks should include validation checks, fallback datasets, and data quarantine rules. When a pipeline fails, the team needs to know whether to pause ingestion, reroute to backup, or degrade gracefully.

데이터 품질 사고는 느리게 악화되므로, 주기적 감사(weekly data audit)와 비교 리포트가 런북에 포함되어야 한다. 이 리포트는 추후 포스트모템에도 사용된다. 데이터 품질 런북은 자동화 도구와 같이 업데이트되어야 한다.

10) LLM 응답 품질 런북

LLM 제품은 응답 품질이 곧 서비스 품질이다. 응답 이상이 발생하면 단순한 장애 대응을 넘어 사용자 신뢰 회복까지 고려해야 한다. 런북에는 응답 품질 하락 시 행동 지침을 포함해야 한다: 샘플링 확대, 안전 필터 강화, 고정 프롬프트 적용 등.

LLM response incidents need a human-in-the-loop review. You should collect problematic outputs, tag them by failure type, and route them into a remediation queue. This is both a reliability and a safety practice.

또한 품질 지표는 하나로 고정할 수 없다. 유용성, 정확성, 정합성, 안전성 등 여러 축의 지표를 조합해야 한다. 런북은 각 지표별 최소 기준과 대응 방식이 연결되어 있어야 한다. 예를 들어, 안전성 지표가 하락하면 즉시 필터 강화와 대체 프롬프트를 적용하도록 설계한다.

11) 보안/프라이버시 사고 런북

AI 시스템은 데이터와 모델이 결합되면서 공격 표면이 넓어진다. 프라이버시 침해, 프롬프트 인젝션, 데이터 유출 가능성을 고려한 런북이 필요하다. 보안 사고는 기술적 대응과 법적 대응을 동시에 요구할 수 있으므로, 법무/보안팀과의 협업 프로세스를 포함해야 한다.

Security runbooks should include containment steps, evidence preservation, and notification thresholds. If a model is suspected to leak sensitive data, you must isolate the environment and initiate a formal incident response.

보안 사고의 경우 ‘증거 보존’이 중요하다. 로그, 샘플 출력, 네트워크 트레이스를 확보하는 절차를 런북에 명시해 두어야 한다. 또한 규제 준수를 위해 보고 체계를 명확히 해야 한다.

12) 포스트모템 문화와 지식 자산화

런북의 마지막 단계는 포스트모템이다. 장애가 해결된 순간이 아니라, 원인이 이해되고 재발 방지 대책이 확정된 순간이 진짜 종료다. 포스트모템은 책임 추궁이 아니라 학습을 위한 문서여야 한다.

A blameless postmortem turns incidents into improvements. It documents what happened, why it happened, and how the system will be changed. The runbook should standardize this template and require follow-up tasks.

포스트모템은 런북 자체를 업데이트하는 입력이 된다. ‘다음에는 어떤 자동화가 필요했는가’, ‘어떤 데이터가 부족했는가’를 기록하면 런북의 품질이 지속적으로 향상된다. 이 과정이 반복되면 운영팀의 학습 속도가 빨라진다.

13) 교육/온보딩과 운영 지식 베이스

런북은 운영팀 내부 교육 자료이기도 하다. 신규 인력이 들어왔을 때 런북이 제대로 작동하지 않으면 결국 경험 많은 사람에게만 의존하게 된다. 따라서 온보딩 과정에 런북 사용 시뮬레이션을 포함하는 것이 좋다.

Runbook training should include tabletop exercises. Simulate a P2 incident, run the workflow, and capture gaps. This builds muscle memory and reduces panic when a real incident occurs.

운영 지식 베이스는 런북의 확장판이다. 사고 히스토리, 회고 문서, FAQ, 모니터링 링크를 묶어 하나의 지식 허브로 만들면, 런북이 현장에서 더 빠르게 실행된다. 즉, 런북은 단일 문서가 아니라 학습 체계의 입구로 설계되어야 한다.

14) 대시보드 설계와 운영 관측성

런북은 대시보드와 분리될 수 없다. 잘 설계된 대시보드는 런북의 첫 페이지가 된다. 예를 들어 P1 사고는 “서비스 가용성, 핵심 API 지연, 오류율”을 즉시 보여주는 대시보드에서 시작해야 한다. 반면 P3 수준의 데이터 지연은 “ETL 지연, 큐 적체, 데이터 품질 체크” 대시보드를 확인하도록 연결해야 한다.

Operational dashboards are decision tools. They must be sparse, fast, and aligned with runbook steps. If you have to search for the right chart, your runbook is already failing. Connect each step to a specific dashboard link.

특히 AI 시스템에서는 품질 메트릭이 시간에 따라 변동하므로, 시계열 비교와 베이스라인 비교가 중요하다. 예: “지난 7일 대비 오늘의 응답 품질 편차” 그래프를 런북에 연결하면, 운영팀은 빠르게 이상 징후를 확인할 수 있다.

마지막으로, 대시보드에는 항상 ‘최근 변경 사항’ 위젯을 포함하는 것이 좋다. 최근 배포, 데이터 파이프라인 변경, 프롬프트 업데이트가 표시되면 사고 대응 속도가 크게 줄어든다. This is a small UX change with a big operational impact.

부록: 실행 가능한 런북 템플릿

아래는 운영팀이 바로 사용할 수 있는 런북 템플릿의 구조다. 이 템플릿을 기준으로 서비스별 세부 내용을 추가하면 된다.

• Incident Summary: 사건 요약, 발생 시간, 영향 범위
• Severity: P1~P4 분류, 기준 메트릭
• Detection: 최초 감지 신호, 알람 ID, 대시보드 링크
• Triage: 확인 절차, 담당자, 의사결정 기록
• Mitigation: 즉시 조치, 롤백 기준, 안전 모드
• Diagnosis: 원인 가설, 검증 로그, 결론
• Communication: 공지 템플릿, 스테이크홀더 리스트
• Postmortem: 재발 방지 항목, 작업 티켓

Templates are living documents. Treat them like code: version them, review them, and improve them. A runbook that is not updated becomes dangerous over time.

Tags: 운영런북,incident-ops,runbook-design,sla-handbook,oncall-rotation,triage-flow,recovery-playbook,severity-matrix,automation-hooks,postmortem-culture