{"id":"IL-0556","org":"Storj","date":"2024-05-20","docs":[],"title":{"en":"A transaction left open during database maintenance stopped uploads and then downloads on Storj's US1 satellite","ko":"수동 데이터베이스 유지 보수 중 열어 둔 트랜잭션이 잠금을 쥐어 Storj US1 satellite 의 업로드와 다운로드가 실패했다"},"domain":["database"],"impact":{"scope":"Storj US1 satellite storage and retrieval (US1 API, Linksharing, Gateway, Select): uploads failed first, then downloads","users":"Customers and applications using the US1 satellite","region":"US1"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.storj.io/incidents/brtpk2c22gdz","kind":"official-status","archived":"https://web.archive.org/web/20250719213358/https://status.storj.io/incidents/brtpk2c22gdz"}],"summary":{"en":"On 20 May 2024 a routine, manual database maintenance procedure began on the Storj US1 satellite at 14:55 UTC, and a transaction was inadvertently left open while other work went on. An open transaction holds locks on the data it touched, so other operations cannot read or change that data until it is committed or rolled back. Writes began to fail at 14:56, and as the locks stayed in place reads failed as well, disrupting the US1 service. The on-call team was paged at 14:59, closed the open transaction at 15:22, and operations were restored at 15:23. The AP1 and EU1 satellites were not affected.","ko":"2024년 5월 20일 14시 55분 UTC에 Storj US1 satellite 에서 정기 수동 데이터베이스 유지 보수를 시작했고, 다른 작업을 하는 동안 트랜잭션 하나가 실수로 열린 채 남았다. 열린 트랜잭션은 커밋되거나 롤백될 때까지 해당 데이터에 잠금을 쥐고 있어 다른 작업이 그 데이터에 접근하거나 고치지 못하게 한다. 14시 56분부터 쓰기 작업이 실패했고, 시간이 지나면서 읽기 작업도 영향을 받아 업로드에 이어 다운로드가 멈췄다. 14시 59분에 당번 팀이 호출을 받고 조사했고, 15시 22분에 열린 트랜잭션을 찾아 닫고 복구를 시작했다. 15시 23분에 서비스가 돌아왔다. AP1 과 EU1 satellite 는 영향을 받지 않았다."},"trigger":{"en":"During routine, manual database maintenance on the US1 satellite that began at 14:55 UTC, a transaction was left open by mistake while other work was being done.","ko":"14시 55분에 US1 satellite 에서 정기 수동 데이터베이스 유지 보수를 시작했고, 다른 작업을 하는 사이 트랜잭션 하나가 실수로 열린 채 남았다."},"severity":"unknown","symptoms":["lock-contention","service-unavailable"],"timeline":{"detected_after":"3m","resolved_after":"27m"},"date_kind":"incident","detection":{"en":"The on-call team received a page at 14:59 UTC, three minutes after writes started failing.","ko":"14시 59분에 당번 팀이 호출을 받고 조사를 시작했다."},"components":["database"],"root_cause":"human-operation","remediation":[{"text":{"en":"Found and closed the open transaction at 15:22 UTC, after which the satellite recovered","ko":"15시 22분에 열려 있던 트랜잭션을 찾아 닫고 복구를 시작했다. 15시 23분에 서비스가 돌아왔다."}}],"action_items":[{"text":{"en":"Review and update database maintenance procedures and training so that every transaction is closed before moving on to other tasks","ko":"다른 작업으로 넘어가기 전에 모든 트랜잭션을 제대로 닫도록 데이터베이스 유지 보수 절차와 교육을 다시 살펴 고친다."}},{"text":{"en":"Add monitoring and alerts for open transactions that last longer than a set duration","ko":"정해 둔 시간보다 오래 열려 있는 트랜잭션을 찾아 팀에 알리는 모니터링과 알림을 더한다."}},{"text":{"en":"Look for further process and system improvements, including tools that reduce or remove the need for manual maintenance","ko":"사고 분석으로 절차와 시스템에서 더 고칠 점을 찾고, 수동 유지 보수를 줄이거나 없애는 도구를 만든다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At 14:56 UTC on 20 May 2024, write operations on the Storj US1 satellite began to fail, so uploads stopped working, and downloads failed after them. The on-call team was paged at 14:59 UTC, while the AP1 and EU1 satellites kept working normally.","ko":"2024년 5월 20일 14시 56분 UTC쯤 Storj US1 satellite 에서 쓰기 작업이 실패하기 시작했다. 14시 59분에 당번 팀이 호출을 받고 조사를 시작했다.\n\n먼저 업로드가 실패했고, 시간이 지나면서 읽기 작업도 영향을 받아 다운로드까지 실패했다. 서비스 전반이 중단됐다.\n\n영향은 US1 의 API, Linksharing, Gateway, Select 에 미쳤다. AP1 과 EU1 satellite 는 내내 정상으로 동작했다."},"updated_at":"2026-11-14T12:34:20.563875Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0556","org_slug":"storj"}