{"id":"IL-0551","org":"Atlassian","date":"2025-05-08","docs":[],"title":{"en":"Bitbucket Cloud's overloaded primary database failed over, and the website, API and Pipelines were slow for almost a day","ko":"Bitbucket Cloud 주 데이터베이스가 과부하로 장애 조치된 뒤 하루 가까이 지연과 간헐 오류가 이어졌다"},"domain":["database"],"impact":{"scope":"Bitbucket Cloud website, API and Bitbucket Pipelines: increased latency and intermittent failures from 15:26 UTC on 8 May to 11:19 UTC on 9 May 2025","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://bitbucket.status.atlassian.com/incidents/z1lk6hmkp9gt","kind":"official-status","archived":null}],"summary":{"en":"On 8 May 2025 a high-scale backfill job run by an internal Atlassian service put excessive load on certain Bitbucket Cloud API endpoints. Those endpoints ran resource-intensive queries and operations against the primary database, the database became overloaded, and the website and API slowed down from 15:26 UTC. Monitoring caught the problem immediately, the backfill job was stopped, and the primary database failed over automatically, so Bitbucket services recovered within 15 minutes.\n\nThe failover did not end the incident. Services that depend on the database had built up a backlog of retries, and that extra load kept database performance down, with intermittent failures and latency on the website, the API and Bitbucket Pipelines. Engineers applied several measures to shed database load, and Bitbucket Cloud was fully operational at 11:19 UTC on 9 May. Atlassian's testing had not caught the problem because it came from this particular high-scale backfill job and the expensive queries it set off.","ko":"2025년 5월 8일 15시 26분 UTC에 Atlassian 내부 서비스가 돌린 대규모 백필 작업이 자원을 많이 쓰는 쿼리를 대량으로 일으켜 Bitbucket Cloud 의 주 데이터베이스를 과부하에 빠뜨렸다. 웹사이트와 API 응답이 느려졌고, 주 데이터베이스는 자동으로 장애 조치됐다. Bitbucket 서비스는 15분 만에 회복했고 백필 작업은 중단됐다.\n\n장애 조치 뒤에도 이 데이터베이스에 의존하는 하위 서비스들의 재시도가 밀려 들어와 데이터베이스 성능을 계속 떨어뜨렸고, 이 재시도 부하가 복구 시간을 늘렸다. 엔지니어링 팀은 데이터베이스 부하를 덜어 내는 여러 방법을 적용했고, Bitbucket Cloud 는 5월 9일 11시 19분 UTC에 완전히 정상으로 돌아왔다. Atlassian 은 이 문제가 내부 구성 요소가 돌린 특정 대규모 백필 작업과 관련돼 있어 테스트에서 걸러지지 않았다고 밝혔다."},"trigger":{"en":"A high-scale backfill job run by an internal Atlassian service sent a large volume of calls to certain Bitbucket API endpoints, which ran expensive queries against the primary database.","ko":"Atlassian 내부 서비스가 돌린 대규모 백필 작업이 일부 API 엔드포인트에 과도한 부하를 걸었고, 그 엔드포인트들이 비용이 큰 쿼리를 주 데이터베이스에 대량으로 보냈다."},"severity":"unknown","symptoms":["database-overloaded","high-latency","high-error-rate"],"timeline":{"detected_after":null,"resolved_after":"19h 53m"},"date_kind":"incident","detection":{"en":"Atlassian's real-time monitoring detected the incident as soon as it started.","ko":"실시간 모니터링이 장애를 바로 감지했다. 상태 페이지에는 15시 41분 UTC에 조사 중이라는 공지가 올라왔다."},"components":["database"],"root_cause":"capacity","remediation":[{"text":{"en":"Stopped the high-intensity backfill job","ko":"부하가 큰 백필 작업을 멈췄다."}},{"text":{"en":"Primary database failed over automatically, and Bitbucket services recovered within 15 minutes","ko":"주 데이터베이스가 자동으로 장애 조치됐고, Bitbucket 서비스가 15분 만에 회복했다."}},{"text":{"en":"Applied several measures after the failover to shed database load","ko":"장애 조치 뒤 엔지니어링 팀이 데이터베이스 부하를 더 덜어 내는 여러 방법을 적용해 자원 압박을 줄이고 성능을 끌어올렸다."}}],"action_items":[{"text":{"en":"Route more reads to read replicas instead of the write primary database","ko":"데이터베이스 요청 라우팅을 고쳐, 읽기 요청을 쓰기용 주 데이터베이스 대신 읽기 복제본으로 더 많이 보낸다."}},{"text":{"en":"Adjust rate limits for internal API endpoints that run resource-intensive database operations","ko":"자원을 많이 쓰는 데이터베이스 작업을 하는 내부 API 엔드포인트의 속도 제한을 조정한다."}},{"text":{"en":"Optimise database queries so they run more efficiently","ko":"데이터베이스 쿼리가 더 효율적으로 돌도록 최적화한다."}},{"text":{"en":"Tune the retry policies of downstream services","ko":"하위 서비스들의 재시도 정책을 조정한다."}}],"contributing":["inefficient-query","retry-storm"],"recurrence_of":null,"symptoms_text":{"en":"At 15:26 UTC on 8 May 2025, the Bitbucket Cloud website and API became slow because the primary database was overloaded. Atlassian's real-time monitoring detected the problem at once.\n\nThe primary database failed over automatically, and Bitbucket services recovered within 15 minutes. After the failover, a backlog of retries from downstream services kept loading the database, and customers saw intermittent errors and slow responses on the website, the API and Bitbucket Pipelines until 11:19 UTC on 9 May.","ko":"2025년 5월 8일 15시 26분 UTC부터 Bitbucket Cloud 웹사이트와 API의 응답이 느려졌다. 주 데이터베이스가 과부하에 걸려 있었다.\n\n주 데이터베이스는 자동으로 장애 조치됐고 Bitbucket 서비스는 15분 만에 회복했다. 그러나 장애 조치 뒤에도 하위 서비스들이 쌓아 둔 재시도가 데이터베이스 성능을 계속 끌어내렸고, 고객은 간헐적인 오류와 웹사이트 지연을 겪었다.\n\n지연과 간헐적인 실패는 웹사이트, API, Bitbucket Pipelines 전반에 나타났고 5월 9일 11시 19분 UTC까지 이어졌다."},"updated_at":"2026-11-14T12:34:20.156140Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0551","org_slug":"atlassian"}