안녕하세요.
포트원 고객지원팀입니다.
3월27일 당사 트래픽 이슈로 인하여 결제·본인인증창이 호출되지 않는 서비스 장애가 발생되어 긴급 복구 및 조치 완료 되었으며 장애관련 상세내용을 안내드립니다.
포트원 서비스를 이용하시는 고객님들께 불편을 드리게 되어 대단히 죄송하다는 말씀 드리며, 고객님들의 많은 이해와 양해 부탁 드리겠습니다.
상세내용1. 장애 원인
•
특정 가맹점에서 PortOne 서버가 처리할 수 있는 가용 범위 이상의 트래픽 유입으로 인해 인증결제 전면 장애 발생
2. 장애 타임 라인
•
2023년 03월 27일 16:00 : 특정 가맹점 초당 40만 건 이상의 결제요청 트래픽 발생
•
2023년 03월 27일 16:05 : 내부 모니터링을 통해 인증서버 이상 발생하여 스케일업 시작
•
2023년 03월 27일 16:10 : 1차 스케일업 완료(2xlarge -> 4xlarge)
•
2023년 03월 27일 16:20 : 2차 스케일업 완료(8대 -> 16대)
•
2023년 03월 27일 16:40 : 3차 스케일업 완료(16대 -> 32대)
•
2023년 03월 27일 16:50 : 정상화 완료
3. 장애 영향도
•
인증결제 장애 (총 50분)
◦
해당 장애 시간동안 인증결제창 비활성화
# API 서비스 정상 동작
4. 재발방지 대책
•
DDoS 가 발생한 결제창 서비스 로직 개선
◦
해당 서비스에서 요청이 급격히 증가하여도 해당 여파로 전면 장애가 발생하지 않도록 로직 개선
◦
문제가 발생한 서비스 전면 교체를 통한 성능 최적화 작업 진행
•
RATE LIMITING 적용
◦
모든 결제요청을 허용했던 기존 방식에서 탈피하여 특정 임계치 초과요청이 오는 경우 전면 장애로 장애가 전파되지 않도록 트래픽 제한 서비스 로직 추가 예정
다시 한번 서비스 이용에 불편을 끼쳐드린 점 깊이 사과 말씀 드리며,
보다 나은 서비스 제공을 위해서 최선을 다해 노력하는 포트원이 되도록 하겠습니다.
위 내용과 관련하여 궁금하신 사항이 있으실 경우 본 메일로 문의 주시기 바랍니다.
감사합니다.
PortOne 드림.
