🚀 동시 접속 1만 명을 견디는 API 서버 직접 만들어봤다

“동시 접속 1만 명, 24/7 무중단 운영, 배포해도 끊김 없음.”

이 세 가지 요구사항을 읽었을 때 솔직히 뭔 소리인지 잘 몰랐습니다. 그냥 서버 하나 켜면 되는 거 아닌가요? 이번 미션을 통해 그 답을 직접 손으로 만들어봤습니다. 결론부터 말하면, 서버를 죽지 않게 만드는 건 생각보다 훨씬 정교한 작업이었습니다.

---

📋 미션 배경과 핵심 과제

시나리오: 개발팀장이 모바일 앱 출시를 앞두고 REST API 서버 구축을 요청했습니다. 1만 명 동시 접속, 24/7 운영, 무중단 배포가 요구사항입니다.

이번에 쌓은 기술 스택은 이렇습니다.

기술	역할	비유
Node.js + Express	API 서버 엔진	주방
PM2 (Cluster Mode)	프로세스 관리자	주방장 — 요리사 여럿을 관리
Nginx (Reverse Proxy)	로드밸런서	홀 매니저 — 손님을 빈 테이블로 안내
Redis	고속 메모리 저장소	조리대 위 재료통 — 빠른 공유 데이터

---

Step 1: Node.js 설치 📦

최신 버전(v20)을 설치하기 위해 NodeSource 저장소를 먼저 등록합니다.

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install nodejs -y

npm(패키지 매니저)도 함께 설치됩니다.

---

Step 2: Express API 서버 구현 ⚙️

API 서버 코드가 들어갈 디렉터리를 만들고, 필요한 패키지를 설치합니다.

sudo mkdir -p /opt/techflow-api
cd /opt/techflow-api
npm init -y
npm install express cors helmet compression morgan dotenv

핵심 파일은 두 개입니다.

app.js — 서버 그 자체입니다. 요청을 받고 처리하는 모든 로직이 여기에 있습니다.

• /health : 서버가 살아있는지 확인 (로드밸런서가 주기적으로 체크)
• /api/users : 사용자 목록 조회
• POST /api/users : 신규 사용자 추가

.env — 환경 변수 파일입니다. 포트 번호나 DB 주소처럼 환경마다 달라지는 값을 코드와 분리해서 관리합니다.

사용자 목록 조회 및 데이터 추가 테스트

테스트가 끝나면 반드시 프로세스를 종료해야 합니다. 다음 단계에서 PM2가 대신 관리할 거라서, 지금 켜둔 것과 충돌이 납니다.

---

Step 3: PM2 클러스터 모드 — 코어를 전부 써라! 🖥️

Node.js는 싱글 스레드입니다. 아무리 좋은 서버여도 CPU 코어 하나만 씁니다. 1만 명이 동시에 들어오면? 줄이 엄청 길어지죠.

PM2 클러스터 모드는 이 문제를 해결합니다. CPU 코어 수만큼 Node.js 프로세스를 복제해서 병렬로 처리합니다.

npm install -g pm2

설정 파일 ecosystem.config.js를 만들어 PM2에게 서버 관리 방법을 알려줍니다.

module.exports = {
  apps: [{
    name: 'techflow-api',
    script: 'app.js',
    instances: 'max',      // CPU 코어 수만큼 자동 복제
    exec_mode: 'cluster',  // 클러스터 모드 활성화
    max_memory_restart: '500M',
    env_production: {
      NODE_ENV: 'production',
      PORT: 3000
    }
  }]
};

PM2 클러스터 모드 실행 화면

로드밸런싱 검증 — CPU별 요청 분산 확인

PM2를 시스템 서비스로 등록하면 서버가 재부팅되어도 자동으로 시작됩니다.

PM2 시스템 서비스 등록 화면

---

Step 4: Nginx 로드밸런서 — 교통 정리의 달인 🔀

PM2가 여러 프로세스를 관리하지만, 외부에서는 여전히 특정 포트로만 접속합니다. Nginx가 리버스 프록시 역할을 해서 들어오는 요청을 가장 여유로운 프로세스에 넘겨줍니다.

upstream techflow_backend {
    least_conn;               # 연결이 가장 적은 서버 우선
    server 127.0.0.1:3000;
    keepalive 64;
}

SSL 인증서도 Nginx에서 처리하여, 실제 Node.js 서버는 암호화 부담 없이 비즈니스 로직에만 집중할 수 있습니다.

Nginx 설정 파일 작성 화면

로드밸런서 동작 테스트 결과

---

Step 5: Redis + 무중단 배포 테스트 🔄

Redis는 여러 Node.js 프로세스 간에 세션이나 캐시 데이터를 공유하기 위해 설치합니다. 메모리에서 동작해서 DB보다 훨씬 빠릅니다.

Redis 설치 및 확인, 데이터 저장 테스트

이제 가장 중요한 테스트입니다. 무중단 배포(Zero-Downtime Deployment) — 서비스 중에 코드를 바꿔도 사용자는 끊김을 느끼지 못하는 거죠.

터미널 두 개를 열어서 동시에 진행합니다.

터미널 1: 0.5초마다 서버에 요청을 보내며 응답을 모니터링합니다.

while true; do
  result=$(curl -sk https://api.techflow.local/health 2>/dev/null)
  echo "$(date '+%H:%M:%S') - OK - $(echo $result | grep -o '"pid":[0-9]*')"
  sleep 0.5
done

터미널 2: PM2를 통해 무중단 재시작 명령을 날립니다.

pm2 reload techflow-api

무중단 배포 모니터링 화면

재시작 전후 PID 변경 확인

재시작 전 5879, 5892이던 PID가 재시작 후 5979, 6298로 바뀌었지만, 모니터링 화면에는 FAIL이 한 번도 없었습니다. 성공입니다!

---

🏁 최종 점검

node -v                                          # Node.js 설치 확인
pm2 status | grep "online"                       # PM2 정상 실행
systemctl is-active nginx                        # Nginx 실행 중
curl -sk https://api.techflow.local/health       # HTTPS 응답 확인
redis-cli ping                                   # PONG 응답 확인

최종 점검 실행 결과 화면

---

💡 미션을 마치며

이번 미션의 핵심 메시지는 하나입니다.

서버 하나로는 부족하다. 잘 설계된 구조가 있어야 대규모 트래픽을 버틸 수 있다.

Node.js(주방) + PM2(주방장) + Nginx(홀 매니저) + Redis(공유 재료통)의 조합은, 단순한 서버 하나보다 훨씬 강력하고 탄력적인 시스템을 만들어냅니다. 특히 무중단 배포를 직접 눈으로 확인했을 때의 감동은 아직도 기억납니다. “아, 이래서 PM2를 쓰는구나!” 🎉