{"id":"IL-0538","org":"Sakura Internet","date":"2012-01-05","docs":[],"title":{"en":"Sakura Cloud storage maintenance deleted 53 in-use customer disks, and the disks could not be restored from backup","ko":"사쿠라 클라우드 스토리지의 일괄 삭제 작업이 고객이 쓰던 디스크 53개를 지웠고 되살리지 못했다"},"domain":["database"],"impact":{"scope":"53 Sakura Cloud disks that customers were using were deleted and could not be restored","users":"unknown","region":"unknown"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://cloud.sakura.ad.jp/news/wp-content/uploads/2012/06/storagehoukoku20120625a.pdf","kind":"official-status","archived":"https://web.archive.org/web/20260421190527/https://cloud.sakura.ad.jp/news/wp-content/uploads/2012/06/storagehoukoku20120625a.pdf"}],"summary":{"en":"Sakura Cloud was released on 15 November 2011, and its storage device had failures on and off from 9 December 2011 to the end of March 2012. One of the problems was performance: from early January, as more customers created disks, the number of shared file systems on the storage device grew, and the CLI that the cloud system uses to create and delete file systems became slow to respond and to finish commands. The number of file systems was one reason for the slowdown, so in the emergency maintenance on 5 January Sakura Internet started deleting disks that had not finished being created because of the load and disks whose contracts had been cancelled. The load was too high for the normal procedure, so the team wrote a batch command for this maintenance and used it to delete the unneeded file systems all at once.\n\nThe batch command was not reviewed or tested enough, and nobody noticed that its rule for which kinds of file systems to delete (ones that failed to be created, ones that were cancelled) was wrong. It deleted 53 disks that were in use. These were file systems that had been created in advance as stock to prevent storage performance degradation, and the command took them for disks that had not been created properly. A backup mechanism existed, but backups had become less frequent because of the storage load, and the deleted disks were new enough that their backups had not started yet, so they could not be restored. After this incident Sakura Internet simplified the process for deleting unneeded file systems and made it a rule that scripts without enough review and testing are not run. The storage problems as a whole led Sakura Internet to add a second storage device on 12 March 2012 and later to replace the storage with a device it developed itself.","ko":"Sakura Internet 은 2011년 11월 15일 사쿠라 클라우드를 정식 출시했고, 2011년 12월 9일의 첫 장애부터 2012년 3월 말까지 스토리지 장애가 여러 번 이어졌다. 1월 초부터 사용자가 늘면서 사용자가 쓰는 디스크인 공유 파일 시스템의 수가 늘었고, 그 수가 늘수록 스토리지 장비를 조작하는 CLI 의 응답과 명령 처리가 느려졌다. 파일 시스템 수가 성능 저하의 원인 가운데 하나였으므로, 회사는 1월 5일 긴급 점검에서 부하 때문에 생성이 끝나지 않은 디스크와 해지된 디스크를 지우기 시작했다.\n\n스토리지 부하가 매우 높아 통상 절차로는 삭제가 실행되지 않았다. 그래서 이 점검 전용 배치 명령을 만들어 불필요한 파일 시스템을 한꺼번에 지웠다. 이 명령은 리뷰와 테스트가 부족해서, 지울 파일 시스템의 종류를 잘못 정한 것을 아무도 찾아내지 못했다. 성능 저하를 막으려고 예비로 미리 만들어 둔 파일 시스템이 정상적으로 생성되지 않은 디스크로 잘못 인식됐고, 그 결과 가동 중인 디스크 53개가 지워졌다.\n\n백업을 받는 구조는 있었지만 스토리지 부하로 백업 빈도가 떨어져 있었고, 지워진 디스크는 만든 지 얼마 되지 않아 백업이 시작되기 전이었다. 그래서 백업에서도 복원하지 못했다. 회사는 이 사고 뒤 삭제 절차를 단순하게 바꾸고 검증되지 않은 스크립트를 실행하지 않게 하는 재발 방지책을 정했다. 2012년 6월 25일의 보고서에서는 이 스토리지 장비를 자체 개발한 새 스토리지 장비로 바꾸기로 했다고 밝혔다."},"trigger":{"en":"In the emergency maintenance on 5 January 2012, Sakura Internet ran a batch command written only for that maintenance to delete unneeded file systems on the storage device in bulk.","ko":"스토리지 부하가 너무 높아 통상 절차로는 삭제가 실행되지 않자, 이 점검만을 위해 배치 명령을 새로 만들어 불필요한 파일 시스템을 한꺼번에 지웠다. 리뷰와 테스트를 충분히 거치지 않은 이 명령이 예비로 미리 만들어 둔 파일 시스템을 생성에 실패한 디스크로 잘못 분류했다."},"severity":"unknown","symptoms":["data-loss"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["block-storage","database-backup"],"root_cause":"human-operation","remediation":[],"action_items":[{"text":{"en":"Simplify the process for deleting unneeded file systems","ko":"불필요한 파일 시스템을 지우는 절차를 단순하게 바꾼다."}},{"text":{"en":"Do not run scripts that have not been reviewed and tested enough","ko":"리뷰와 테스트를 충분히 거치지 않은 스크립트는 실행하지 않는다는 원칙을 철저히 지킨다."}}],"contributing":["review-missed","backup-unverified"],"recurrence_of":null,"symptoms_text":{"en":"During emergency maintenance on 5 January 2012, a bulk deletion of unneeded file systems on the Sakura Cloud storage device also deleted 53 disks that customers were using. The deleted disks could not be restored from backup.\n\nThe maintenance was a response to a storage device that had been slowing down since early January. Every customer disk on Sakura Cloud is a shared file system on the storage device, and as the number of shared file systems grew with the number of users, the storage device's CLI (Command Line Interface), through which the cloud system creates and deletes files, took longer to connect and to run commands. To keep the number of file systems down, unneeded file systems had to be deleted often, and creating and deleting disks took very long or timed out. Under the high load, the normal deletion procedure could not be run at all.","ko":"2012년 1월 5일 긴급 점검에서 스토리지의 불필요한 파일 시스템을 한꺼번에 지운 뒤, 고객이 사용 중이던 사쿠라 클라우드 디스크 53개가 함께 지워졌다. 이 디스크들은 백업에서도 되살릴 수 없었다.\n\n점검 전부터 스토리지는 부하에 시달리고 있었다. 1월 초부터 사용자가 늘면서 스토리지 위의 공유 파일 시스템 수가 늘었고, 스토리지 장비에 명령을 보내는 CLI 의 응답이 느려졌다. CLI 에 접속하는 데 걸리는 시간이 길어졌고, 디스크를 만들고 지우는 명령도 아주 오래 걸리거나, 타임아웃이 나서 끝까지 실행되지 않았다.\n\n지워진 디스크는 백업에서 복원할 수 없었다. 백업 구조는 있었지만 스토리지 부하 때문에 백업 주기가 길어져 있었고, 지워진 디스크는 만든 지 얼마 되지 않아 아직 백업이 시작되기 전이었다."},"updated_at":"2026-11-14T12:34:18.099998Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0538","org_slug":"sakura-internet"}