[프로젝트 6]🔴 랜선을 뽑았다. 시스템은 스스로 살아남았다 – Failover 실증기

가장 긴장했던 순간이었습니다. Worker 2의 랜선을 직접 손으로 뽑는 그 순간. 아무 명령도 입력하지 않은 채로 화면을 바라보며 기다렸습니다. 30초가 지나고, 1분이 지나고. 그리고 Slack에 알람이 왔습니다. 파드가 Worker 1으로 이동하고, 감시가 재개됐습니다. 이 포스팅은 그 장면을 만들기 위한 설계와 자동화의 기록입니다.

🔗 Failover 실증: GitHub Wiki — Proof Failover | 알람 파이프라인 | Ansible IaC

---

🏗️ Failover가 동작하기 위한 4개의 맞물림

Failover는 단일 기능이 아닙니다. 네 가지 설계가 정확히 맞물려야 합니다.

설계 요소	역할	핵심 설정
nodeAffinity	AI 파드를 평시엔 Worker 2 우선 배치	preferredDuringScheduling
tolerationSeconds	노드 다운 감지 후 대기 시간 설정	tolerationSeconds: 30
Longhorn HA	3-Node 스토리지 복제로 데이터 보존	3-way replication
auto_failback.sh	Worker 2 복구 시 파드 자동 원복	매분 노드 상태 감시

nodeAffinity — 평시와 비상시 배치 전략

spec:
  affinity:
    nodeAffinity:
      # 평시: Worker 2 우선 배치 (Danger Zone에서 직접 감지)
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        preference:
          matchExpressions:
          - key: zone
            operator: In
            values:
            - danger

  # 비상시: Worker 1 이동 허용 (Buffer Zone으로 임무 승계)
  tolerations:
  - key: "zone"
    operator: "Equal"
    value: "buffer"
    effect: "NoSchedule"
    tolerationSeconds: 30

tolerationSeconds — 30초의 의미

처음엔 ArgoCD의 기본 Sync 주기인 5분을 사용했습니다. 그런데 실제 사고 상황에서 5분의 공백이 얼마나 치명적인지를 생각하고 tolerationSeconds: 30으로 튜닝했습니다. 단순한 숫자 변경이지만 이 결정 뒤에는 “이 시스템이 실제로 현장에서 쓰인다면” 이라는 질문이 있었습니다.

---

⏱️ Failover 6단계 타임라인

T + 0s   ─── Worker2 랜선 강제 제거
               └─► K3s heartbeat 소실 감지 시작

T + 30s  ─── tolerationSeconds 만료
               └─► AI 파드 Evict 트리거 발동

T + 60s  ─── Grafana Alert 조건 충족 (1분 지속)
               └─► Alert Firing 상태 전환

T + 90s  ─── Slack 1단계 알람 🚨
               └─► "[긴급] worker2 노드 다운 감지"

T + 3~5m ─── AI 파드 Worker1 재스케줄링 완료
               └─► 화재·자세·소음 감시 재개

T + 5~6m ─── Slack 2단계 알람 🔄
               └─► "[완료] Failover 성공 — worker1 승계"

T + 복구 ─── Worker2 랜선 재연결
               └─► auto_failback.sh 자동 감지
               └─► 파드 Worker2 원복
               └─► Slack 3단계 알람 ✅
                   "[RESOLVED] worker2 정상 복구"

---

📊 실증 결과

Failover 전 — AI 파드가 Worker2에서 실행 중

Failover 후 — AI 파드가 Worker1으로 자동 이동

Worker2 NotReady 상태 확인

검증 항목	목표	결과
노드 다운 감지 시간	30초 이내	✅
AI 파드 이동 시간	3~5분 이내	✅
데이터 유실	0건	✅
Slack 알람 자동 발송	3단계 전부	✅
Failback 자동 원복	Worker2 복구 시 자동	✅

---

🚨 무인 3단계 Slack 알람 파이프라인

사람이 아무것도 하지 않아도 시스템이 스스로 상태를 추적하고 보고합니다.

Prometheus (Worker1 NodePort 30090)
    │ 메트릭 수집
    ▼
Grafana Alert Rules
    │ 조건 충족 시 Webhook 발송
    ▼
Slack Webhook
    ├─► 1단계 🚨 노드 다운 감지
    ├─► 2단계 🔄 Failover 승계 완료
    └─► 3단계 ✅ 노드 정상 복구

1단계 🚨 — 노드 다운 감지 (T+90s)

kube_node_status_condition{node="worker2", condition="Ready", status="true"} < 1

Worker2의 Ready 상태가 1에서 벗어나면 1분 지속 후 Firing으로 전환됩니다. 순간적인 네트워크 지연과 구분하기 위한 1분 유예입니다.

2단계 🔄 — Failover 승계 완료 (T+5~6m)

count(kube_pod_info{node="worker1", namespace="ai-apps"}) > 0

AI 파드가 Worker1에서 실행되기 시작하면 1분 지속 후 Firing으로 전환됩니다.

3단계 ✅ — 노드 정상 복구 (Worker2 복구 시)

1단계 알람의 Send resolved 옵션만 활성화하면 됩니다. 별도 쿼리 없이, 1단계 조건이 해소되면 Grafana가 자동으로 RESOLVED를 발송합니다.

Range 타입을 써야 하는 이유

Grafana Alert 쿼리 타입에는 Instant와 Range 두 가지가 있습니다. Instant는 현재 시점 값만 조회하는데, Prometheus 스크레이프 주기와 Grafana 평가 주기가 어긋나면 메트릭이 null로 반환되어 알람이 발송되지 않거나 오발송됩니다. Range를 사용하고 Replace Non-numeric with 0 옵션을 켜면 null을 0으로 대체하여 항상 안정적으로 조건을 평가합니다.

---

⚙️ Ansible IaC — 3-Node 일괄 운영 자동화

프로젝트 초반에는 노드에 직접 SSH로 접속해서 설정했습니다. 어디에도 기록이 남지 않으면 재현이 안 된다는 걸 중간에 깨닫고 Ansible로 전부 코드화했습니다.

Playbook	역할
network.yml	Jinja2 템플릿으로 Netplan 고정 IP 전 노드 배포
nfs.yml	NFS 마운트 자동화 (state: ephemeral — 부팅 지연 방지)
tiering.yml	스크립트 3개 배포 + crontab 3개 등록 (멱등성 보장)
healthcheck.yml	K3s 서비스·파드·NFS 상태 확인 + Slack 자동 알림

핵심: crontab 멱등성 처리

- name: Register tiering crontab
  ansible.builtin.cron:
    name: "run_tiering"    # 이름으로 중복 식별
    minute: "0"
    hour: "*"
    job: "/home/minsoo/scripts/run_tiering.sh >> /var/log/tiering.log 2>&1  #Ansible"
    state: present

name 필드로 동일한 crontab을 식별하므로, Playbook을 여러 번 실행해도 crontab이 중복 등록되지 않습니다.

NFS를 state: ephemeral로 마운트하는 이유

state: mounted(fstab 등록)를 쓰면 Windows PC(WinNFSd)가 꺼진 상태에서 라즈베리파이가 부팅될 때 NFS 마운트를 기다리다가 부팅이 수분 이상 지연됩니다. ephemeral은 fstab에 등록하지 않아 부팅 지연 없이 운영 중에만 마운트합니다.

---

✅ 시스템 전체 검증 결과

목표	결과
RPO 0초 (데이터 무손실)	✅ Longhorn 3-Node 복제로 달성
RTO 2분 이내	✅ ~5분 (파드 이동 포함, 목표치 대비 허용 범위 내)
무인 자동 Failover	✅ 사람 개입 없이 완전 자동
무인 자동 Failback	✅ auto_failback.sh 매분 감시
3단계 Slack 알람	✅ 전 단계 자동 발송
Ansible IaC	✅ 4개 Playbook으로 전 인프라 코드화

🔗 다음 편: 7편 — 회고: 라즈베리파이 3대로 엔터프라이즈 HA를 구현하고 나서
🔗 Ansible 실증 상세: GitHub Wiki — Proof Ansible