{"id":"IL-0550","org":"Atlassian","date":"2024-02-22","docs":[],"title":{"en":"Bitbucket Cloud's database slowed until connection pools saturated and requests timed out, leaving Pipelines pending","ko":"Bitbucket Cloud 의 웹사이트와 API 가 6시간 동안 느려지고 Pipelines 빌드가 밀렸다"},"domain":["database"],"impact":{"scope":"Increased latency on the bitbucket.org website and APIs and significant delays running Bitbucket Pipelines; Git over HTTPS and SSH unaffected","users":"Bitbucket Cloud customers","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://bitbucket.status.atlassian.com/incidents/0t3fy4dr6sdn","kind":"official-status","archived":"https://web.archive.org/web/20251017125728/https://bitbucket.status.atlassian.com/incidents/0t3fy4dr6sdn"}],"summary":{"en":"On 22 February 2024, between 07:22 and 13:30 UTC, the Bitbucket Cloud website and APIs were degraded because the vacuum process was not running often enough on the high-traffic database tables. Atlassian described the root cause as an issue during the routine autovacuuming of the active tables, which impaired the database's ability to serve requests. Connection pools saturated, response times went up and requests began timing out, which slowed many Bitbucket services and left a large backlog of unscheduled pipelines.\n\nAfter the database recovered at 13:30 UTC, Bitbucket Pipelines had build scheduling delays while it processed the backlog. Atlassian added resources to Pipelines and the backlog was fully cleared by 17:30 UTC.","ko":"2024년 2월 22일 07:22 UTC 부터 13:30 UTC 까지 Bitbucket Cloud 의 웹사이트와 API 가 느려졌다. 트래픽이 많은 데이터베이스 테이블에서 vacuum 이 충분히 자주 돌지 않아 데이터베이스가 요청을 제대로 처리하지 못했다. Atlassian 은 자주 쓰이는 테이블에 정기적으로 도는 autovacuum 중에 생긴 문제를 근본 원인으로 적었다. 그 결과 커넥션 풀이 포화되고 응답 시간이 늘었으며 완전히 타임아웃 나는 요청이 점점 늘었다. 느려짐은 여러 Bitbucket 서비스에 번졌고, 아직 스케줄되지 못한 파이프라인이 큰 백로그로 쌓였다.\n\n13:30 UTC 에 데이터베이스가 회복된 뒤 Bitbucket Pipelines 는 쌓인 잡을 처리하느라 빌드 스케줄링이 지연됐다. Bitbucket Pipelines 에 리소스를 더 넣었고 17:30 UTC 에 백로그가 모두 처리됐다. 장애 동안 HTTPS 와 SSH 로 하는 Git 요청은 영향이 없었다."},"trigger":null,"severity":"unknown","symptoms":["high-latency","connection-pool-exhausted","intermittent-timeouts","throughput-degraded"],"timeline":{"detected_after":null,"resolved_after":"10h 8m"},"date_kind":"incident","detection":null,"components":["database","autovacuum"],"root_cause":"capacity","remediation":[{"text":{"en":"Added resources to Bitbucket Pipelines to clear the backlog of jobs, which was fully cleared by 17:30 UTC","ko":"Bitbucket Pipelines 에 리소스를 더 넣어 쌓인 잡을 처리했고, 17:30 UTC 에 백로그가 모두 처리됐다."}}],"action_items":[{"text":{"en":"Reconfigure the vacuuming threshold for database tables with high write activity","ko":"쓰기가 많은 데이터베이스 테이블의 vacuum 임계값을 다시 설정한다."}},{"text":{"en":"Adjust alert thresholds to catch this behaviour earlier","ko":"이런 동작을 더 일찍 잡아 영향을 줄이도록 알림 임계값을 조정한다."}},{"text":{"en":"Tune autoscaling and load shedding for the Pipelines services and increase build runner capacity","ko":"Pipelines 서비스의 오토스케일링과 로드 셰딩 동작을 조정하고 빌드 러너 용량을 늘린다."}}],"contributing":["no-alert-on-limit"],"recurrence_of":null,"symptoms_text":{"en":"From 07:22 UTC on 22 February 2024, the bitbucket.org website and the Bitbucket Cloud APIs became slow, and Bitbucket Pipelines runs were badly delayed. Git requests over HTTPS and SSH kept working.\n\nAs the database lost its ability to handle requests, connection pools saturated, response times grew and more and more requests timed out completely. The status page reported Pipelines not starting for some customers and builds stuck in a pending state, and reports of Pipelines queueing and delays continued after a first fix.\n\nAfter the database recovered at 13:30 UTC, Pipelines still had build scheduling delays while it worked through the backlog of jobs that had queued up, until 17:30 UTC.","ko":"2024년 2월 22일 07:22 UTC 부터 Bitbucket Cloud 의 웹사이트와 API 가 느려졌다. 커넥션 풀이 포화되고 응답 시간이 늘었으며, 완전히 타임아웃 나는 요청이 점점 늘었다.\n\nBitbucket Pipelines 실행이 크게 지연됐고 bitbucket.org 웹사이트와 API 의 지연 시간이 늘었다. HTTPS 와 SSH 로 하는 Git 요청은 영향이 없었다. 상태 페이지는 영향을 받은 구성 요소로 Webhooks 와 Pipelines 를 적었다.\n\n13:30 UTC 에 데이터베이스가 회복된 뒤에도 Bitbucket Pipelines 는 쌓인 잡을 처리하느라 빌드 스케줄링이 지연됐다. 상태 페이지에는 14:45 UTC 에 일부 고객의 Bitbucket Pipelines 가 시작되지 않는 문제를 조사한다는 글이 올라왔다. 15:20 UTC 에 수정을 적용했다고 알린 뒤에도 15:55 UTC 에 Pipelines 가 대기열에 머물거나 지연된다는 신고가 계속 들어왔다."},"updated_at":"2026-11-14T12:34:20.072568Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0550","org_slug":"atlassian"}