Skip to content

About

No description or website provided.

Topics

Resources

Stars

4 stars

Watchers

1 watching

Forks

Repository files navigation

판매처 주문 연동 시스템

판매처 한 곳이 느려져도 다른 판매처의 주문 전달이 지연되지 않도록 설계한 주문 연동 시스템입니다.

  • 판매처별 접수 제한으로 3분·10분 장애에서 정상 판매처 기한 초과 0건
  • DB 기반 작업 점유로 인스턴스 2대 확장 시 중복 호출 0건, 일시 정지 후 복귀 시 덮어쓰기 0건

Java 17 · Spring Boot 3.2 · Spring Kafka · Kafka 3.9 · MySQL 8.4 · Resilience4j · Testcontainers · AWS EC2

measured-latency

해결하려던 문제

쇼핑몰 주문의 생성·변경·취소를 판매처 20곳의 API로 전달합니다. 판매처 API의 응답 속도는 통제할 수 없고, 주문 간 중요도가 같아 우선순위로 나눌 수도 없습니다.

목표는 두 가지입니다.

  • 판매처 한 곳이 느려져도 정상 판매처 작업 중 전달 시간이 1.5초를 넘는 비율을 1% 이하로 유지
  • 주문별 생성·변경·취소 순서 보장

아키텍처

서비스 간에는 직접 호출하지 않고 Kafka 이벤트로만 통신합니다. 핵심은 주문 접수 단계의 판매처별 한도와, 판매처 반영이 끝났을 때 그 용량을 돌려주는 완료 이벤트입니다.

주문 요청 ──▶ order-service ── 판매처별 한도 초과 시 거절 (HTTP 429)
               │  용량 예약 + Outbox 저장 (한 트랜잭션)
               ▼
        partner-order-requests (Kafka)
               │
               ▼
     partner-integration-service ── Inbox 저장 → 작업 점유 → 판매처 API 호출 (멱등성 키)
               │
               ▼
        partner-order-completions (Kafka) ──▶ order-service ── 예약 용량 1건 반환
서비스 역할
order-service 주문 생성·변경·취소 API. 판매처별 접수 한도를 확인하고, DB 변경과 이벤트를 같은 트랜잭션의 Outbox로 남겨 발행. 완료 이벤트를 받아 예약 용량 반환
partner-integration-service 주문 이벤트를 Inbox에 저장하고, 판매처별 동시 호출 제한과 작업 점유를 거쳐 판매처 API로 전달. 반영이 끝나면 완료 이벤트 발행
inventory-service, notification-service 주문 도메인의 재고 차감과 결과 알림. 이 문서의 장애 격리 실험 대상은 아님
common 서비스 간 이벤트 계약과 topic 이름

1. 벌크헤드로 막지 못한 장기 장애

shared-inbox-saturation

연동 서비스는 Kafka에서 받은 주문을 DB Inbox에 저장한 뒤, 판매처별 동시 호출을 2개로 제한(벌크헤드)해 판매처 API를 호출합니다. Inbox, Parallel Consumer, 재시도 토픽 세 구조를 같은 장애 조건에서 비교했습니다.

  • 12초 장애는 방어했지만, 장애 지속 시간을 3분으로 늘리자 장애 판매처 작업으로 공용 Inbox(200건)가 포화됐습니다. Kafka 수신이 멈추면서 정상 판매처 작업의 90% 이상이 기한을 초과했습니다.
  • 정상 판매처의 첫 기한 초과 시점과 Inbox 점유율 95% 도달 시점의 차이는 매번 1초 이내였습니다.
  • 같은 크기(200건)의 메모리 버퍼를 공유하는 Parallel Consumer도 90% 이상 기한을 초과했고, 대기 작업을 별도 토픽으로 분리해 공용 버퍼가 없는 재시도 토픽은 약 6%에 그쳤습니다. 실행은 판매처별로 격리했지만 대기 공간을 공유한 것이 원인이었습니다.
  • 장애 판매처에는 초당 16건이 유입되지만 처리량은 초당 약 0.67건(동시 2개 ÷ 응답 3초)입니다. 이 차이로 계산한 포화 시점(200건 약 13초, 2,000건 약 2분)이 실측과 일치했고, 상한을 늘려도 포화 시점만 늦춰졌습니다.

2. 판매처별 접수 제한

admission-control

공용 경로로 들어오는 장애 판매처 작업의 양 자체를 주문 접수 단계에서 제한했습니다.

  • 판매처별 미전달 작업은 200건까지만 허용하고, 공용 Inbox 상한은 2,000건으로 설정했습니다. 한 판매처가 공용 공간의 10%를 초과해 점유하지 못합니다.
  • 정상 판매처의 전달 기한을 지키기 위해, 한도를 초과한 장애 판매처의 신규 주문은 즉시 거절합니다(HTTP 429).
  • 취소가 판매처에 전달되지 않으면 주문이 출고될 수 있어, 신규 주문 접수 시 생성·변경·취소 3건의 용량을 미리 예약합니다. 용량은 Kafka 발행 시점이 아닌 판매처 반영 완료 이벤트를 받을 때 1건씩 반환해, 대기 중인 작업도 한도에 포함합니다.
  • Inbox는 저장 직후 오프셋을 커밋하므로 전달이 지연되어도 컨슈머 랙에는 드러나지 않습니다(장애 중에도 최대 6). 따라서 접수 한도 관리에 사용하는 미전달 기록으로 판매처별 미전달 건수와 최장 대기 시간을 별도로 모니터링합니다.
조건 (3분 장애, 3회 중앙값) 정상 판매처 기한 초과율 전달 지연 p99
Inbox 상한 200건 93.4% 약 170초
Inbox 상한 2,000건 26.5% 약 68초
접수 제한 + Inbox 0% 523ms
접수 제한 + Parallel Consumer 0% 91ms
접수 제한 + 재시도 토픽 3.0% 3,327ms

10분 장애에서도 접수 제한 + Inbox의 기한 초과는 0건이었습니다. 장애 구간에 들어온 신규 주문 중 정상 판매처는 100% 접수, 장애 판매처는 약 92%(3분)와 97%(10분)를 즉시 거절했습니다. 재시도 토픽에 남은 기한 초과는 76~98%가 서킷 브레이커가 열리기 전인 장애 시작 후 20초 안에 집중됐고, 첫 호출을 수신 스레드가 직접 수행하는 구조의 영향으로 추정합니다.

3. 인스턴스 확장과 일시 정지에서의 작업 점유

work-ownership

인스턴스를 2대로 확장하자 두 인스턴스가 같은 Inbox 작업을 각자 처리해 절반 이상을 중복 호출했고, 판매처별 동시 호출 제한도 인스턴스마다 따로 적용돼 한 판매처에 최대 4개까지 동시 호출이 발생했습니다.

  • 판매처 실행 슬롯은 FOR UPDATE로 잠가 여유를 확인하고, 작업은 FOR UPDATE … SKIP LOCKED로 점유해 먼저 커밋한 뒤 판매처 API를 호출합니다.
  • 점유에는 15초 lease와 버전을 두고, 결과 저장 시 버전이 일치할 때만 반영합니다. 일시 정지로 점유가 만료된 인스턴스가 복귀해도 결과를 덮어쓰지 못합니다.
  • 이미 전송된 외부 호출은 DB 트랜잭션으로 되돌릴 수 없어, 점유 전환 시점의 재호출은 허용하고 판매처 API의 멱등성 키(eventId)로 중복 반영을 막습니다.
  • 완료 이벤트를 Kafka로 발행하는 릴레이가 FOR UPDATE 락을 유지한 채 응답을 대기하다 정지하자, REPEATABLE READ의 갭 락이 다른 인스턴스의 INSERT를 약 50초간 블로킹했습니다. 발행 대기 중에는 락을 유지하지 않도록 변경하고 READ COMMITTED로 전환했습니다.

2대로 확장한 뒤에도 중복 호출 0건과 판매처별 동시 호출 상한(2개)을 유지했습니다. 인스턴스 정지(SIGSTOP) 후에는 약 15초 만에 다른 인스턴스가 처리를 이어받았고, 복귀한 인스턴스의 덮어쓰기도 0건이었습니다.

검증 환경

aws-test-environment
  • EC2 m7i.large 11대에 Kafka 브로커 3대(복제 3, min.insync.replicas 2), 주문 DB, 연동 DB, 서비스, 모의 판매처 서버, 부하 생성기, 관측기를 분리 배치했습니다.
  • 판매처 20곳, 초당 80개 작업(생성·변경·취소를 각각 집계). 전체 작업의 20%를 받는 판매처 한 곳의 응답을 3초로 지연시켜 장애를 재현했습니다.
  • 각 작업이 평상시·장애·복구 중 어느 구간에 속하는지는 부하 생성기의 계획 시각으로 정하고, 매 실행마다 중복 반영·순서 위반·동시 호출 상한·지연을 검사했습니다.
  • 측정 도구 지연을 먼저 보정했습니다. 비교 전 모의 판매처 서버가 초당 320건에서 자체적으로 p99 885ms의 지연을 만들고 있었습니다. 응답 헤더와 본문이 따로 전송되며 Nagle 알고리즘과 지연 ACK가 겹친 약 40ms 대기를 TCP_NODELAY로 제거하고, 그룹 커밋·keep-alive·io2 디스크를 적용해 2.27ms까지 낮춘 뒤 비교를 시작했습니다.
  • 접수 제한은 단일 인스턴스에서 비교하고, 작업 점유는 별도의 2대 확장·일시 정지 조건에서 검증했습니다.

About

No description or website provided.

Topics

Resources

Stars

4 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages