📊 서버가 아프기 전에 알아야 한다: Prometheus + Grafana 모니터링 구축기

“서버 CPU가 90%인데 아무도 몰랐다.”

이런 상황을 막기 위한 게 모니터링 시스템입니다. 이번 미션은 운영팀장의 요청으로 서버 상태를 실시간으로 보여주는 대시보드와 이상 시 알림 시스템을 구축하는 것이었습니다. 직접 해보고 나서 느낀 건, “아, 이래서 DevOps가 필요하구나” 였습니다.

---

📋 모니터링 3인방 소개

이번 미션의 핵심은 세 가지 도구가 서로 통신하는 구조를 이해하는 것입니다.

도구	포트	역할	비유	설치 위치
Node Exporter	9100	서버 지표를 밖으로 내보냄	마이크 🎤	웹앱 서버 (191)
Prometheus	9090	지표를 수집하고 저장	녹음기 📼	관제 서버 (178)
Grafana	3000	데이터를 시각화	TV 화면 📺	관제 서버 (178)

데이터 흐름은 한 방향입니다.

191번(9100) 📢 → 👂 178번(9090) → 📺 178번(3000)

Prometheus는 Pull 방식입니다. 직접 돌아다니며 데이터를 긁어오는 방식이에요. Push 방식과 달리 수집 주기와 대상을 중앙에서 통제할 수 있어 관리가 편합니다.

---

Step 1: Node Exporter 설치 — 웹 서버에 마이크 달기 🎤

웹앱 서버(192.168.10.191)에 접속해서 Node Exporter를 설치합니다.

sudo apt update
sudo apt install prometheus-node-exporter -y

설치하면 9100번 포트로 CPU, 메모리, 디스크, 네트워크 등 수십 가지 지표를 자동으로 내보내기 시작합니다. 관제 서버(178)에서만 이 포트에 접근할 수 있도록 방화벽을 설정합니다.

sudo ufw allow from 192.168.10.178 to any port 9100

💡 트러블슈팅: 만약 Nginx가 실행 안 된다면 Apache2가 80번 포트를 몰래 점유 중일 수 있습니다. sudo systemctl stop apache2 && sudo systemctl disable apache2로 해결합니다.

---

Step 2: Prometheus 구축 — 녹음기 세팅 📼

관제 서버(192.168.10.178)에서 Prometheus를 설치하고, 어떤 서버를 감시할지 설정합니다.

sudo apt install prometheus -y

설정 파일(prometheus.yml)의 핵심:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']   # 자기 자신도 감시

  - job_name: 'web-server'
    static_configs:
      - targets: ['192.168.10.191:9100']  # 웹앱 서버 감시
        labels:
          instance: 'Web-App-Server'

rule_files:
  - "/etc/prometheus/rules/*.yml"    # 알림 규칙 파일 위치

알림 규칙 파일(alerts.yml)은 반드시 별도 파일로 분리합니다.

💡 트러블슈팅: groups: 항목을 prometheus.yml 본체에 넣으면 오류가 납니다. 반드시 별도 파일로 분리해야 합니다.

# /etc/prometheus/rules/alerts.yml
groups:
  - name: server_alerts
    rules:
      - alert: InstanceDown
        expr: up == 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "서버 다운됨: {{ $labels.instance }}"

sudo systemctl restart prometheus
sudo systemctl status prometheus  # Active: active (running) 확인 필수

---

Step 3: Grafana 설치 — TV 화면 켜기 📺

Grafana는 공식 저장소가 따로 있어서, 먼저 저장소를 등록해야 합니다.

# GPG 키 다운로드
wget -q -O - https://apt.grafana.com/gpg.key | \
  sudo gpg --dearmor -o /usr/share/keyrings/grafana.gpg

# 저장소 추가
echo "deb [signed-by=/usr/share/keyrings/grafana.gpg] \
  https://apt.grafana.com stable main" | \
  sudo tee /etc/apt/sources.list.d/grafana.list

# [중요] 목록 갱신 후 설치
sudo apt update
sudo apt install grafana -y

💡 트러블슈팅: 저장소 추가 후 apt update를 빠뜨리면 “패키지를 찾을 수 없음” 오류가 납니다. 꼭 갱신 후 설치하세요.

sudo systemctl start grafana-server
sudo systemctl enable grafana-server
sudo ufw allow 3000

---

Step 4: Grafana 웹 설정 — 모든 것을 연결하다 🔗

브라우저에서 http://192.168.10.178:3000 으로 접속합니다. 초기 계정은 admin / admin입니다.

데이터 소스 연결 순서:

1. 좌측 메뉴 → Connections → Data sources → Prometheus 선택
2. URL 입력: http://localhost:9090 (관제 서버 내부 통신이라 localhost)
3. Save & Test 클릭 → 초록색 성공 메시지 확인

대시보드 가져오기:

1. Dashboards → New → Import
2. ID 1860 입력 (Node Exporter Full — 가장 유명한 서버 모니터링 대시보드) → Load
3. Data source로 Prometheus 선택 → Import

Grafana 대시보드 화면 – Node Exporter Full 적용 모습

---

최종 테스트: 서버를 실제로 괴롭혀보자 🔥

모니터링이 제대로 작동하는지 확인하기 위해 웹앱 서버에 부하를 줍니다.

# 웹앱 서버(191)에서 실행
sudo apt install stress -y
stress --cpu 4 --timeout 120s   # CPU 4개를 2분간 100% 사용

동시에 Grafana 화면에서 web-server 대시보드를 보면 CPU Usage 그래프가 급격히 올라가는 것을 확인할 수 있습니다.

부하 테스트 중 Grafana CPU 그래프 상승 화면

그래프가 치솟는다면 모니터링 구축 성공입니다! 🎉

---

📂 핵심 설정 파일 총정리

파일 경로	소속 서버	역할
/etc/prometheus/prometheus.yml	관제(178)	어떤 서버를 감시할지 정의
/etc/prometheus/rules/alerts.yml	관제(178)	위험 기준(CPU 80% 등) 정의
/etc/apt/sources.list.d/grafana.list	관제(178)	Grafana 패키지 저장소 등록
/etc/nginx/sites-available/default	웹(191)	Nginx 요청 처리 설정

---

💡 미션을 마치며

모니터링 시스템 구축의 핵심 메시지는 이것입니다.

“문제가 생긴 후에 알면 늦다. 문제가 생기기 전에 알아야 한다.”

Node Exporter가 지표를 내보내고, Prometheus가 그걸 긁어 저장하고, Grafana가 예쁘게 시각화하는 이 3단계 구조는 실제 기업 운영 환경에서 거의 표준처럼 쓰입니다. 직접 부하 테스트를 해보며 그래프가 올라가는 걸 보는 순간, “이래서 DevOps 엔지니어가 필요하구나”를 제대로 느꼈습니다. 📊