{"id":"IL-0557","org":"Storj","date":"2025-08-07","docs":[],"title":{"en":"Database transaction locks piled up on Storj's US1 satellite, and uploads and downloads failed with timeouts for 2 hours","ko":"같은 객체에 몰린 동시 업로드가 데이터베이스 트랜잭션 경합을 일으켜 Storj US1 satellite 의 업로드와 다운로드 요청이 실패했다"},"domain":["database"],"impact":{"scope":"Storj US1 satellite uploads and downloads (US1 Linksharing, Gateway, Select)","users":"Customers and applications using the US1 satellite","region":"US1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.storj.io/incidents/3q9z06kvylvv","kind":"official-status","archived":"https://web.archive.org/web/20260513160351/https://status.storj.io/incidents/3q9z06kvylvv"}],"summary":{"en":"On 7 August 2025 an exceptionally high volume of simultaneous uploads to the same objects reached the Storj US1 satellite. The database transactions for these uploads contended with each other, and because a transaction holds locks on the data it touches until it is committed or rolled back, locks built up from 21:04 UTC. Long-running transactions increased, requests timed out and connection pools were exhausted. The on-call team was paged at 21:14. To stop contention errors from growing in a cascade, Storj periodically reset the state of connections, and a fix was in place at 21:55. Error rates rose again at 22:31, returned to normal at 22:45, and operations were fully restored at 23:05. Storj then changed code to remove the sources of contention between transactions.","ko":"2025년 8월 7일 21시 4분 UTC쯤 같은 객체들을 겨냥한 동시 업로드가 유난히 많이 몰리면서 Storj US1 satellite 의 데이터베이스에서 트랜잭션 경합으로 병목이 생겼다. 트랜잭션은 커밋되거나 롤백될 때까지 해당 데이터에 잠금을 쥐어 다른 작업을 막는다. 잠금이 쌓이자 요청 타임아웃과 커넥션 풀 고갈이 연쇄로 이어졌다. 21시 14분에 당번 팀이 호출을 받아 조사했고, 커넥션 상태를 주기적으로 초기화해 경합 오류가 연쇄로 불어나는 것을 막았다. 21시 55분에 수정 조치를 적용하고 지켜보던 중 22시 31분에 오류율이 다시 올랐다. 오류율은 22시 45분에 정상으로 내려왔고, 서비스는 23시 5분에 완전히 복구됐다. AP1 과 EU1 satellite 는 영향을 받지 않았다."},"trigger":{"en":"An unusually high volume of concurrent uploads to the same objects reached the US1 satellite.","ko":"같은 객체들을 겨냥한 동시 업로드가 유난히 많이 몰렸다."},"severity":"unknown","symptoms":["lock-contention","intermittent-timeouts","connection-pool-exhausted","high-error-rate"],"timeline":{"detected_after":"10m","resolved_after":"2h 1m"},"date_kind":"incident","detection":{"en":"The on-call team was paged at 21:14 UTC, ten minutes after database transaction locks began to rise.","ko":"21시 14분에 당번 팀이 호출을 받고 조사를 시작했다."},"components":["database"],"root_cause":"capacity","remediation":[{"text":{"en":"Reset the state of connections periodically to keep contention errors from growing in a cascade","ko":"커넥션 상태를 주기적으로 초기화해 경합 관련 오류가 연쇄로 불어나지 않게 했다."}}],"action_items":[{"text":{"en":"Remove the sources of contention between database transactions with code changes","ko":"데이터베이스 트랜잭션 사이의 경합 원인을 찾아 코드를 고쳐 없앴다."}},{"text":{"en":"Add monitoring and alerts for increased levels of database locks","ko":"데이터베이스 잠금이 늘어나는 것을 찾아 팀에 알리는 모니터링과 알림을 더했다."}},{"text":{"en":"Look for further process and system improvements, including tools that reduce or remove the need for manual maintenance","ko":"사고 분석으로 절차와 시스템에서 더 고칠 점을 찾았다. 수동 유지 보수를 줄이거나 없애는 도구를 만드는 일이 그중 하나다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 21:04 UTC on 7 August 2025, database transaction locks on the Storj US1 satellite started to increase, and upload and download requests began to fail. The on-call team was paged at 21:14 UTC.\n\nAs long-running transactions grew, requests timed out and connection pools were exhausted. After a fix at 21:55 UTC error rates came down, rose again at 22:31, and returned to normal at 22:45; operations were fully restored at 23:05 UTC. The AP1 and EU1 satellites were not affected.","ko":"2025년 8월 7일 21시 4분 UTC부터 Storj US1 satellite 에서 데이터베이스 트랜잭션 잠금이 늘었다. 21시 14분에 당번 팀이 호출을 받았고, 21시 25분에 상태 페이지가 US1 의 업로드와 다운로드 실패를 조사 중이라고 알렸다.\n\n데이터베이스 잠금이 쌓이면서 요청 타임아웃과 커넥션 풀 고갈이 이어졌다. 오래 도는 트랜잭션이 늘어날수록 요청 타임아웃이 늘었다.\n\n21시 55분에 수정 조치를 적용한 뒤 22시 31분에 오류율이 다시 올랐다. 22시 45분에 오류율이 정상으로 내려왔고 23시 5분에 서비스가 완전히 돌아왔다.\n\n영향은 US1 의 Linksharing, Gateway, Select 에 미쳤다. AP1 과 EU1 satellite 는 내내 정상으로 동작했다."},"updated_at":"2026-11-14T12:34:20.651718Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0557","org_slug":"storj"}