{"id":"IL-0545","org":"Wasabi","date":"2024-11-30","docs":[],"title":{"en":"Wasabi API calls in all regions returned HTTP 5XX when the message queue stopped spreading requests over database nodes","ko":"Wasabi 전 리전에서 모든 API 호출이 HTTP 5XX 오류로 실패했다"},"domain":["database"],"impact":{"scope":"Client connections to Wasabi Cloud Storage and the Web Console, with all API calls returning HTTP 5XX errors; the status page also lists the Wasabi Account Control API, the Wasabi Account Control Manager Console and the Wasabi Management Console","users":"unknown","region":"All Wasabi storage regions; us-east-1 (Ashburn) recovered last"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.wasabi.com/incidents/dcb131s9f3sy","kind":"official-status","archived":"https://web.archive.org/web/20250416171514/https://status.wasabi.com/incidents/dcb131s9f3sy"}],"summary":{"en":"Wasabi's internal messaging queue service takes client requests and routes them to the global database cluster. On 30 November 2024 an error in that queue service stopped it from routing client requests across all of the database nodes, and from 00:17 UTC to about 03:00 UTC client requests to Wasabi Cloud Storage and the Web Console failed in all storage regions with HTTP 5XX errors. The engineering and operations teams restored service by configuring internal servers by hand to route requests across several database instances, and then worked on the root cause by recovering the internal messaging queue and resuming its automated handling of client requests. Errors in us-east-1 lasted longer than in the other regions, and the status page reported all regions fully operational at 04:45 UTC.","ko":"2024년 11월 30일 00:17 UTC 부터 약 03:00 UTC 까지 Wasabi 의 모든 스토리지 리전에서 Wasabi Cloud Storage 와 Web Console 로 가는 클라이언트 연결이 실패했고, 모든 API 호출이 HTTP 5XX 오류로 끝났다. 원인은 클라이언트 요청을 받아 전역 데이터베이스 클러스터로 보내는 내부 메시징 큐 서비스의 오류였다. 이 큐 서비스가 클라이언트 요청을 모든 노드에 제대로 나눠 보내지 못했다.\n\nWasabi 의 엔지니어링팀과 운영팀은 내부 서버가 여러 데이터베이스 인스턴스로 요청을 나눠 보내도록 직접 설정해 서비스를 되살렸다. 그 뒤 내부 메시징 큐를 복구하고 클라이언트 요청을 제대로 처리하는 자동 작업을 다시 돌려 근본 원인을 바로잡는 작업을 했다. 상태 페이지의 갱신에 따르면 us-east-1 이 마지막까지 오류를 냈고, 04:45 UTC 에 모든 리전이 완전히 정상이 됐다."},"trigger":null,"severity":"unknown","symptoms":["service-unavailable","uneven-load"],"timeline":{"detected_after":null,"resolved_after":"2h 43m"},"date_kind":"incident","detection":null,"components":["message-broker","database"],"root_cause":"unknown","remediation":[{"text":{"en":"Configured internal servers by hand to route requests across multiple database instances, which restored service","ko":"엔지니어링팀과 운영팀이 내부 서버가 여러 데이터베이스 인스턴스로 요청을 나눠 보내도록 직접 설정해 서비스를 되살렸다."}},{"text":{"en":"After service was restored, worked on the root cause by recovering the internal messaging queue and resuming its automated handling of client requests","ko":"서비스가 돌아온 뒤 내부 메시징 큐를 복구하고 클라이언트 요청을 제대로 처리하는 자동 작업을 다시 돌려 근본 원인을 바로잡는 작업을 했다."}}],"action_items":[],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 00:17 UTC on 30 November 2024, client connections to Wasabi Cloud Storage and the Web Console failed in every storage region, and all API calls returned HTTP 5XX errors.\n\nThe status page first described the problem as network errors across all regions, with both the Console and S3 returning errors. Later the status page said the issue was isolated and resolution was underway, and that it expected every region except us-east-1 to recover, while some requests in Ashburn still got error responses. At 04:45 UTC it reported the system fully operational in all regions.","ko":"2024년 11월 30일 00:17 UTC 부터 Wasabi 의 모든 스토리지 리전에서 Wasabi Cloud Storage 와 Web Console 로 가는 클라이언트 연결 시도가 실패했고, 모든 API 호출이 HTTP 5XX 오류로 끝났다. 상태 페이지에는 00:20 UTC 에 전 리전의 네트워크 오류를 조사하고 있으며 Console 과 S3 서비스 접속이 오류를 낼 수 있다는 글이 올라왔다.\n\n03:08 UTC 에도 일부 트래픽은 계속 오류를 받았다. 상태 페이지는 03:43 UTC 에 us-east-1 을 뺀 모든 리전이 복구될 것으로 본다고 알렸고, 애시번에서는 여전히 오류 응답이 일부 보인다고 적었다. 04:45 UTC 에는 모든 리전이 완전히 정상으로 돌아왔다고 알렸다.\n\n상태 페이지는 영향 범위로 US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, EU-West-3, EU-South-1, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2 와 Wasabi Account Control API, Wasabi Account Control Manager Console, Wasabi Management Console 을 적었다."},"updated_at":"2026-11-14T12:34:18.983578Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0545","org_slug":"wasabi"}