판매처 한 곳이 느려져도 다른 판매처의 주문 전달이 지연되지 않도록 설계한 주문 연동 시스템입니다.
- 판매처별 접수 제한으로 3분·10분 장애에서 정상 판매처 기한 초과 0건
- DB 기반 작업 점유로 인스턴스 2대 확장 시 중복 호출 0건, 일시 정지 후 복귀 시 덮어쓰기 0건
Java 17 · Spring Boot 3.2 · Spring Kafka · Kafka 3.9 · MySQL 8.4 · Resilience4j · Testcontainers · AWS EC2
쇼핑몰 주문의 생성·변경·취소를 판매처 20곳의 API로 전달합니다. 판매처 API의 응답 속도는 통제할 수 없고, 주문 간 중요도가 같아 우선순위로 나눌 수도 없습니다.
목표는 두 가지입니다.
- 판매처 한 곳이 느려져도 정상 판매처 작업 중 전달 시간이 1.5초를 넘는 비율을 1% 이하로 유지
- 주문별 생성·변경·취소 순서 보장
서비스 간에는 직접 호출하지 않고 Kafka 이벤트로만 통신합니다. 핵심은 주문 접수 단계의 판매처별 한도와, 판매처 반영이 끝났을 때 그 용량을 돌려주는 완료 이벤트입니다.
주문 요청 ──▶ order-service ── 판매처별 한도 초과 시 거절 (HTTP 429)
│ 용량 예약 + Outbox 저장 (한 트랜잭션)
▼
partner-order-requests (Kafka)
│
▼
partner-integration-service ── Inbox 저장 → 작업 점유 → 판매처 API 호출 (멱등성 키)
│
▼
partner-order-completions (Kafka) ──▶ order-service ── 예약 용량 1건 반환
| 서비스 | 역할 |
|---|---|
order-service |
주문 생성·변경·취소 API. 판매처별 접수 한도를 확인하고, DB 변경과 이벤트를 같은 트랜잭션의 Outbox로 남겨 발행. 완료 이벤트를 받아 예약 용량 반환 |
partner-integration-service |
주문 이벤트를 Inbox에 저장하고, 판매처별 동시 호출 제한과 작업 점유를 거쳐 판매처 API로 전달. 반영이 끝나면 완료 이벤트 발행 |
inventory-service, notification-service |
주문 도메인의 재고 차감과 결과 알림. 이 문서의 장애 격리 실험 대상은 아님 |
common |
서비스 간 이벤트 계약과 topic 이름 |
연동 서비스는 Kafka에서 받은 주문을 DB Inbox에 저장한 뒤, 판매처별 동시 호출을 2개로 제한(벌크헤드)해 판매처 API를 호출합니다. Inbox, Parallel Consumer, 재시도 토픽 세 구조를 같은 장애 조건에서 비교했습니다.
- 12초 장애는 방어했지만, 장애 지속 시간을 3분으로 늘리자 장애 판매처 작업으로 공용 Inbox(200건)가 포화됐습니다. Kafka 수신이 멈추면서 정상 판매처 작업의 90% 이상이 기한을 초과했습니다.
- 정상 판매처의 첫 기한 초과 시점과 Inbox 점유율 95% 도달 시점의 차이는 매번 1초 이내였습니다.
- 같은 크기(200건)의 메모리 버퍼를 공유하는 Parallel Consumer도 90% 이상 기한을 초과했고, 대기 작업을 별도 토픽으로 분리해 공용 버퍼가 없는 재시도 토픽은 약 6%에 그쳤습니다. 실행은 판매처별로 격리했지만 대기 공간을 공유한 것이 원인이었습니다.
- 장애 판매처에는 초당 16건이 유입되지만 처리량은 초당 약 0.67건(동시 2개 ÷ 응답 3초)입니다. 이 차이로 계산한 포화 시점(200건 약 13초, 2,000건 약 2분)이 실측과 일치했고, 상한을 늘려도 포화 시점만 늦춰졌습니다.
공용 경로로 들어오는 장애 판매처 작업의 양 자체를 주문 접수 단계에서 제한했습니다.
- 판매처별 미전달 작업은 200건까지만 허용하고, 공용 Inbox 상한은 2,000건으로 설정했습니다. 한 판매처가 공용 공간의 10%를 초과해 점유하지 못합니다.
- 정상 판매처의 전달 기한을 지키기 위해, 한도를 초과한 장애 판매처의 신규 주문은 즉시 거절합니다(HTTP 429).
- 취소가 판매처에 전달되지 않으면 주문이 출고될 수 있어, 신규 주문 접수 시 생성·변경·취소 3건의 용량을 미리 예약합니다. 용량은 Kafka 발행 시점이 아닌 판매처 반영 완료 이벤트를 받을 때 1건씩 반환해, 대기 중인 작업도 한도에 포함합니다.
- Inbox는 저장 직후 오프셋을 커밋하므로 전달이 지연되어도 컨슈머 랙에는 드러나지 않습니다(장애 중에도 최대 6). 따라서 접수 한도 관리에 사용하는 미전달 기록으로 판매처별 미전달 건수와 최장 대기 시간을 별도로 모니터링합니다.
| 조건 (3분 장애, 3회 중앙값) | 정상 판매처 기한 초과율 | 전달 지연 p99 |
|---|---|---|
| Inbox 상한 200건 | 93.4% | 약 170초 |
| Inbox 상한 2,000건 | 26.5% | 약 68초 |
| 접수 제한 + Inbox | 0% | 523ms |
| 접수 제한 + Parallel Consumer | 0% | 91ms |
| 접수 제한 + 재시도 토픽 | 3.0% | 3,327ms |
10분 장애에서도 접수 제한 + Inbox의 기한 초과는 0건이었습니다. 장애 구간에 들어온 신규 주문 중 정상 판매처는 100% 접수, 장애 판매처는 약 92%(3분)와 97%(10분)를 즉시 거절했습니다. 재시도 토픽에 남은 기한 초과는 76~98%가 서킷 브레이커가 열리기 전인 장애 시작 후 20초 안에 집중됐고, 첫 호출을 수신 스레드가 직접 수행하는 구조의 영향으로 추정합니다.
인스턴스를 2대로 확장하자 두 인스턴스가 같은 Inbox 작업을 각자 처리해 절반 이상을 중복 호출했고, 판매처별 동시 호출 제한도 인스턴스마다 따로 적용돼 한 판매처에 최대 4개까지 동시 호출이 발생했습니다.
- 판매처 실행 슬롯은
FOR UPDATE로 잠가 여유를 확인하고, 작업은FOR UPDATE … SKIP LOCKED로 점유해 먼저 커밋한 뒤 판매처 API를 호출합니다. - 점유에는 15초 lease와 버전을 두고, 결과 저장 시 버전이 일치할 때만 반영합니다. 일시 정지로 점유가 만료된 인스턴스가 복귀해도 결과를 덮어쓰지 못합니다.
- 이미 전송된 외부 호출은 DB 트랜잭션으로 되돌릴 수 없어, 점유 전환 시점의 재호출은 허용하고 판매처 API의 멱등성 키(eventId)로 중복 반영을 막습니다.
- 완료 이벤트를 Kafka로 발행하는 릴레이가
FOR UPDATE락을 유지한 채 응답을 대기하다 정지하자, REPEATABLE READ의 갭 락이 다른 인스턴스의 INSERT를 약 50초간 블로킹했습니다. 발행 대기 중에는 락을 유지하지 않도록 변경하고 READ COMMITTED로 전환했습니다.
2대로 확장한 뒤에도 중복 호출 0건과 판매처별 동시 호출 상한(2개)을 유지했습니다. 인스턴스 정지(SIGSTOP) 후에는 약 15초 만에 다른 인스턴스가 처리를 이어받았고, 복귀한 인스턴스의 덮어쓰기도 0건이었습니다.
- EC2 m7i.large 11대에 Kafka 브로커 3대(복제 3,
min.insync.replicas2), 주문 DB, 연동 DB, 서비스, 모의 판매처 서버, 부하 생성기, 관측기를 분리 배치했습니다. - 판매처 20곳, 초당 80개 작업(생성·변경·취소를 각각 집계). 전체 작업의 20%를 받는 판매처 한 곳의 응답을 3초로 지연시켜 장애를 재현했습니다.
- 각 작업이 평상시·장애·복구 중 어느 구간에 속하는지는 부하 생성기의 계획 시각으로 정하고, 매 실행마다 중복 반영·순서 위반·동시 호출 상한·지연을 검사했습니다.
- 측정 도구 지연을 먼저 보정했습니다. 비교 전 모의 판매처 서버가 초당 320건에서 자체적으로 p99 885ms의 지연을 만들고 있었습니다. 응답 헤더와 본문이 따로 전송되며 Nagle 알고리즘과 지연 ACK가 겹친 약 40ms 대기를
TCP_NODELAY로 제거하고, 그룹 커밋·keep-alive·io2 디스크를 적용해 2.27ms까지 낮춘 뒤 비교를 시작했습니다. - 접수 제한은 단일 인스턴스에서 비교하고, 작업 점유는 별도의 2대 확장·일시 정지 조건에서 검증했습니다.