{"id":"IL-0544","org":"Wasabi","date":"2024-08-06","docs":[],"title":{"en":"Wasabi's database cache stopped responding when its queueing service filled up, and S3 failed in all regions","ko":"Wasabi 전 리전의 S3 와 사용자 서비스에 이틀에 걸쳐 세 차례 장애가 났다"},"domain":["database"],"impact":{"scope":"S3 service (affected from 10:32 until it was fully operational again at 11:20 UTC on 6 August, and a small drop in accepted traffic on 7 August) and user services such as the Web Console, WAC API and WACM interface","users":"unknown","region":"All Wasabi regions: US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.wasabi.com/incidents/smpz7mhv0zkn","kind":"official-status","archived":null}],"summary":{"en":"Between 10:32 UTC on 6 August and 20:40 UTC on 7 August 2024, Wasabi had three events that affected both S3 and user services in all regions. In the first, the queueing service filled to capacity and the database cache stopped responding. The Operations team restarted the primary database to clear stale connections and cleared the queueing service's queue, and when that did not restore the database, promoted the secondary instance to primary. S3 was fully working again at 11:20 UTC. Between 13:17 and 13:23 UTC the team restarted the database once more to fully take in the queueing service library.\n\nIn the second event, from 02:55 to 03:35 UTC on 7 August, the team found a configuration issue in the queueing service and the secondary database instance that had been promoted, which caused timeouts on the Web Console, the WAC API and the WACM interface. The team promoted the original primary back into production, and the timeouts stopped. In the third event, from 20:30 to 20:44 UTC on 7 August, the automation service could not see one automation cluster, which slightly reduced accepted traffic to the S3 vaults until the team recreated and redeployed that cluster.","ko":"2024년 8월 6일 10:32 UTC 부터 8월 7일 20:40 UTC 사이에 Wasabi 전 리전의 S3 와 사용자 서비스에 세 차례 장애가 났다.\n\n첫 번째는 8월 6일 10:32 UTC 에 큐 서비스가 가득 찬 상태가 되면서 시작됐다. 이 때문에 데이터베이스 캐시가 응답하지 않게 됐다. 운영팀은 데이터베이스에 남은 오래된 연결을 모두 정리하려고 주 데이터베이스를 재시작하면서 동시에 큐 서비스의 큐를 비웠다. 이 조치로 데이터베이스가 완전히 동작하는 상태로 돌아오지 않자 보조 데이터베이스 인스턴스를 주 인스턴스로 승격했고, 11:20 UTC 에 S3 서비스가 다시 정상이 됐다. 13:17 UTC 부터 13:23 UTC 까지 운영팀은 큐 서비스 라이브러리를 데이터베이스에 완전히 반영하려고 데이터베이스를 한 번 더 재시작했다.\n\n두 번째는 8월 7일 02:55 UTC 부터 03:35 UTC 까지였다. 운영팀은 큐 서비스와 앞서 승격한 보조 데이터베이스 인스턴스에서 설정 문제를 찾았다. 이 설정 문제가 Web Console, WAC API, WACM 인터페이스 같은 사용자 서비스의 타임아웃을 일으키고 있었다. 운영팀이 원래의 주 데이터베이스를 다시 운영에 올리자 문제가 풀렸다. 이 사건에서 S3 서비스는 영향이 없었다.\n\n세 번째는 8월 7일 20:30 UTC 부터 20:44 UTC 까지였다. 자동화 서비스가 자동화 클러스터 하나를 보지 못하면서 S3 vault 가 받아들이는 트래픽이 조금 줄었다. 운영팀이 이 클러스터를 다시 만들어 배포하자 S3 서비스가 완전히 돌아왔다."},"trigger":{"en":"At 10:32 UTC on 6 August, Wasabi's queueing service reached full capacity, and that made the database cache unresponsive.","ko":"2024년 8월 6일 10:32 UTC 에 큐 서비스가 가득 찬 상태가 됐다."},"severity":"unknown","symptoms":["service-unavailable","failover-failed","intermittent-timeouts"],"timeline":{"detected_after":null,"resolved_after":"34h 8m"},"date_kind":"incident","detection":null,"components":["message-broker","cache","database"],"root_cause":"capacity","remediation":[{"text":{"en":"Restarted the primary database to clear stale connections and cleared the queueing service's queue at the same time, which did not fully restore the database","ko":"운영팀이 데이터베이스에 남은 오래된 연결을 정리하려고 주 데이터베이스를 재시작했고, 동시에 큐 서비스의 큐를 비웠다. 이 조치로는 데이터베이스가 완전히 돌아오지 않았다."}},{"text":{"en":"Promoted the secondary database instance to primary, after which S3 was fully operational at 11:20 UTC","ko":"보조 데이터베이스 인스턴스를 주 인스턴스로 승격했고, 11:20 UTC 에 S3 서비스가 다시 정상이 됐다."}},{"text":{"en":"Restarted the database again between 13:17 and 13:23 UTC to fully incorporate the queueing service library","ko":"8월 6일 13:17 UTC 부터 13:23 UTC 까지 큐 서비스 라이브러리를 데이터베이스에 완전히 반영하려고 데이터베이스를 한 번 더 재시작했다."}},{"text":{"en":"Promoted the original primary database back to production on 7 August, which stopped the user service timeouts","ko":"8월 7일 두 번째 사건에서 원래의 주 데이터베이스를 다시 운영에 올려 사용자 서비스의 타임아웃을 풀었다."}},{"text":{"en":"Recreated and redeployed the automation cluster that the automation service could not see, which fully restored S3","ko":"8월 7일 세 번째 사건에서 자동화 서비스가 보지 못하던 자동화 클러스터를 다시 만들어 배포했고, S3 서비스가 완전히 돌아왔다."}}],"action_items":[],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 10:32 UTC on 6 August 2024, Wasabi's S3 service and user services failed in every region: users had trouble logging into the Web Console and requests to Wasabi regions returned errors.\n\nThe problem came back in three separate events over two days. The first, from 10:32 UTC on 6 August, affected S3 until it was fully operational again at 11:20 UTC. The second, from 02:55 to 03:35 UTC on 7 August, caused timeouts on user services such as the Web Console, the WAC API and the WACM interface, with no impact on S3. The third, from 20:30 to 20:44 UTC on 7 August, caused a small drop in accepted traffic to the S3 vaults.\n\nIn the first event the Operations team restarted the primary database to clear all stale connections while clearing the queueing service's queue at the same time. The restart did not bring the database back to full operation, so the team promoted the secondary database instance to primary instead.","ko":"2024년 8월 6일 10:32 UTC 부터 Wasabi 전 리전에서 S3 와 사용자 서비스에 오류가 났다. 상태 페이지에는 10:56 UTC 에 Web Console 로그인 문제와 Wasabi 리전의 오류를 조사한다는 글이 올라왔다.\n\n첫 번째 사건에서는 큐 서비스가 가득 찬 상태가 되면서 데이터베이스 캐시가 응답하지 않았다. 운영팀이 주 데이터베이스를 재시작했지만 데이터베이스는 완전히 동작하는 상태로 돌아오지 않았다. S3 서비스는 보조 인스턴스를 승격한 뒤 11:20 UTC 에 다시 정상이 됐다.\n\n두 번째 사건은 8월 7일 02:55 UTC 부터 03:35 UTC 까지였다. Web Console, WAC API, WACM 인터페이스 같은 사용자 서비스에서 타임아웃이 났고, S3 서비스에는 영향이 없었다.\n\n세 번째 사건은 8월 7일 20:30 UTC 부터 20:44 UTC 까지였다. 자동화 서비스가 자동화 클러스터 하나를 보지 못하게 되면서 S3 vault 가 받아들이는 트래픽이 조금 줄었다.\n\n상태 페이지는 영향 범위로 US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2 와 Wasabi Management Console 을 적었다."},"updated_at":"2026-11-14T12:34:18.918037Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0544","org_slug":"wasabi"}