{"id":"IL-0422","org":"Crusoe Cloud","date":"2025-12-16","docs":[],"title":{"en":"Metadata inconsistencies in Crusoe Cloud's VAST storage in eu-iceland1-a caused I/O errors and failed VM operations","ko":"eu-iceland1-a 의 VAST 공유 스토리지가 3주 동안 느려지고 끊기며 I/O 오류와 마운트 실패를 냈다"},"domain":["ai-infra"],"impact":{"scope":"Shared volumes (Shared Disks) in eu-iceland1-a were slow, intermittently unreachable, returned I/O errors or failed to mount; VM create, start, stop and delete operations and shared volume create, update and delete operations failed at times; all shared volumes failed reads and writes for about 10 minutes on 23 December","users":"unknown","region":"eu-iceland1-a"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.crusoecloud.com/incidents/t1wzyllk408h","kind":"official-status","archived":null}],"summary":{"en":"Crusoe Cloud's Shared Storage in eu-iceland1-a is a VAST storage cluster. The status page reports that slowness and access problems from 16 December 2025 were caused by metadata inconsistencies in the storage and connectivity problems, without stating what caused the inconsistencies. Crusoe and VAST applied a fix for the performance issues on 16 December, ran a targeted integrity verification with the cluster in a protective maintenance state, lifted the broad restrictions early on 17 December, and later that day changed the configuration to keep background recovery processes away from active customer workloads, which stabilised performance. From 18 December the vendor ran integrity scans to map the remaining inconsistencies and built automated remediation workflows based on manual recovery procedures validated on a small subset of data, which Crusoe said it would authorise only once they were validated.\n\nMore disruption followed during recovery. A VAST storage software upgrade on 23 December introduced automated recovery tooling; later that day a manual administrative error by VAST during the data recovery process caused the 10-minute outage of all shared volumes. On 26 December two new storage network issues cut access to shared volumes, the second also stopping VM operations until VAST rebooted the cluster, and access returned early on 27 December. VAST applied a 15-minute configuration update to the storage nodes on 27 December to speed up recovery. On 28 December several storage components went offline, unrelated to the planned upgrade, and the storage node failures were remediated the same day. Further VAST software upgrades on 28, 30 and 31 December and 1 January were made to speed up recovery, all planned activities to restore storage access were complete on 2 January 2026, and the incident was resolved on 7 January 2026 after final monitoring.","ko":"2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전의 Shared Storage 가 느려지는 문제를 조사하기 시작했다. 이 리전의 공유 스토리지는 VAST 스토리지 소프트웨어로 도는 클러스터이고, Crusoe 는 스토리지 공급사 VAST 와 함께 대응했다. 18:26 UTC 에 수정을 적용하자 스토리지 지연과 처리량이 정상으로 돌아왔지만, 일부 고객에게는 간헐적인 지연이 남았다. 밤에는 스토리지 메타데이터 불일치를 바로잡고 네트워크 연결을 안정시키는 작업이 이어졌다. 12월 17일 00:49 UTC 에는 메타데이터 불일치를 없애려고 무결성 검증을 돌리고 있었다. 검사 중에 데이터가 바뀌지 않도록 클러스터를 보호용 유지보수 상태로 두어 접근을 막았다. 이 때문에 특정 볼륨과 파일에서 마운트 실패와 I/O 오류가 났다. 02:05 UTC 에 검증의 핵심 단계를 끝내고 제한을 풀자 대부분의 볼륨이 돌아왔다. 그러나 02:53 UTC 에는 스토리지 컨트롤 플레인 문제로 VM 작업과 공유 볼륨의 생성, 수정, 삭제가 실패했다. 백그라운드 복구 작업이 도는 동안 성능 흔들림과 연결 끊김이 이어졌다. 23:11 UTC 에 백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꾸자 클러스터가 안정되기 시작했다.\n\n12월 18일에는 대부분의 고객이 정상으로 돌아왔다. 메타데이터 불일치가 남은 일부 볼륨은 무결성 검사로 범위를 파악했고, VAST 는 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 자동 복구 절차를 만들었다. 12월 23일에는 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포한 뒤 남은 볼륨의 복구를 다시 시작했다. 같은 날 19:52:53 UTC 부터 20:03:47 UTC 까지 약 10분 동안 모든 공유 볼륨의 읽기, 쓰기, 업데이트가 실패했다. VAST 가 데이터를 복구하면서 손으로 한 관리 작업에서 실수를 했기 때문이었다.\n\n12월 26일에는 공유 볼륨 접근에 영향을 주는 스토리지 네트워크 문제가 두 번 새로 생겼다. 11:17 UTC 에 생긴 첫 번째 문제는 14:39 UTC 에 네트워크 계층을 안정시켜 풀었다. 22:54 UTC 에 생긴 두 번째 문제는 VM 생성, 시작, 정지, 삭제까지 번졌고, VAST 가 클러스터를 재부팅했다. 12월 27일 03:45 UTC 에 해결을 확인했고, 같은 날 VAST 가 복구 작업을 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 12월 28일 11:10 UTC 에는 스토리지 구성 요소 여러 개가 예기치 않게 오프라인이 되었다가 13:48 UTC 에 복구되었다. 그 뒤 12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다. 1월 2일에 남은 복구 작업을 모두 끝내고 모니터링 단계로 넘어갔고, 1월 7일 17:25 UTC 에 인시던트를 끝냈다."},"trigger":null,"severity":"unknown","symptoms":["storage-disconnected","throughput-degraded"],"timeline":{"detected_after":null,"resolved_after":"22d 12m"},"date_kind":"incident","detection":null,"components":["shared-filesystem"],"root_cause":"unknown","remediation":[{"text":{"en":"Implemented a fix for the storage performance issues, returning latency and throughput to normal","ko":"12월 16일 18:26 UTC 에 스토리지 성능 문제를 고치는 수정을 적용해 스토리지 지연과 처리량을 정상 수준으로 되돌렸다."}},{"text":{"en":"Ran a targeted integrity verification with the storage cluster in a protective maintenance state","ko":"12월 17일에 메타데이터 불일치를 완전히 없애려고 대상을 좁힌 무결성 검증을 돌렸다. 검사하는 동안 스토리지 클러스터를 보호용 유지보수 상태로 두어 데이터가 바뀌지 않도록 접근을 막았다."}},{"text":{"en":"Lifted the broad protective maintenance restrictions after the critical phase of the verification","ko":"무결성 검증의 핵심 단계를 끝낸 뒤 넓게 걸어 둔 보호용 유지보수 제한을 풀어 대부분의 볼륨과 데이터 경로를 되살렸다."}},{"text":{"en":"Changed the configuration to isolate background recovery processes from active customer workloads","ko":"백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꿨고, 그 뒤 클러스터 성능이 안정되고 간헐적인 연결 흔들림이 줄었다."}},{"text":{"en":"Ran integrity scans and automated remediation workflows modelled on validated manual recovery procedures","ko":"VAST 와 함께 무결성 검사로 남은 불일치의 범위를 파악했고, 앞서 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 만든 자동 복구 절차를 돌렸다."}},{"text":{"en":"Upgraded the VAST storage software to add automated tooling for recovery","ko":"12월 23일에 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포하고, 남은 볼륨의 복구를 다시 이어 갔다."}},{"text":{"en":"Rebooted the VAST cluster to restore access to shared volumes and VM operations","ko":"12월 26일 밤 VM 작업까지 번진 스토리지 네트워크 문제를 풀려고 VAST 가 클러스터를 재부팅했다."}},{"text":{"en":"Applied a configuration update to the storage nodes to speed up recovery workflows","ko":"12월 27일에 VAST 가 기존 복구 작업을 더 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 작업은 약 15분 걸렸다."}},{"text":{"en":"Remediated the storage node failures of 28 December","ko":"12월 28일에 오프라인이 된 스토리지 노드를 되살려 공유 디스크 성능과 VM 작업을 정상으로 되돌렸다."}},{"text":{"en":"Applied further VAST storage software upgrades on 28, 30 and 31 December and 1 January","ko":"12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다."}}],"action_items":[{"text":{"en":"VAST to run a full post-incident review and add automation and safeguards that remove reliance on manual steps","ko":"VAST 는 사후 검토를 하고, 수동 단계에 기대지 않도록 자동화와 안전장치를 더해 비슷한 사고의 위험을 줄인다."}},{"text":{"en":"Review the recent stability of the storage cluster with the vendor to prevent recurrences","ko":"Crusoe 와 VAST 는 재발을 막으려고 최근 클러스터 안정성 전반을 빠짐없이 검토한다."}}],"contributing":["manual-action-worsened"],"recurrence_of":null,"symptoms_text":{"en":"On 16 December 2025 at 17:13 UTC, Crusoe Cloud reported slowness in Shared Storage in its eu-iceland1-a region, which runs on storage from its vendor VAST. Within half an hour the scope was widened to significant slowness and intermittent access problems for Shared Storage users, affecting shared disks and GPU virtual machines in eu-iceland1.\n\nCrusoe named storage metadata inconsistencies as the problem, together with network connectivity that had to be stabilised. Customers saw intermittent write errors, latency spikes and brief connectivity drops. While a targeted integrity verification ran, the storage cluster went into a protective maintenance state that restricted access, and customers saw mount failures or Input/Output (I/O) errors on specific volumes, directories or files. Impact on the storage control plane then caused VM operation failures and failures to create, update or delete shared volumes.\n\nThe problem changed shape over three weeks. A fix on 16 December brought latency and throughput back to normal, but slowness remained for some customers; on 17 December the critical phase of the integrity check finished and most volumes were available again, yet some files and directories still returned I/O errors and intermittent performance drops returned while background recovery ran. On 18 December most customers were back to normal, while a limited subset stayed affected by residual metadata inconsistencies. On 23 December, from 19:52:53 to 20:03:47 UTC, read, write and update operations failed on all shared volumes for about 10 minutes. New storage network issues cut access to shared volumes on 26 December, the second also blocking VM create, start, stop and delete until VAST rebooted the cluster, and on 28 December several storage components went offline unexpectedly, again affecting shared volumes and VM management.","ko":"2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전에서 Shared Storage 를 쓸 때 느려지는 문제를 조사하기 시작했다. 17:36 UTC 에는 영향 범위가 넓어져, 고객이 Shared Storage 서비스에서 심한 지연과 간헐적인 접근 문제를 겪었다.\n\n12월 16일 밤에는 고객이 간헐적인 쓰기 오류, 지연 급증, 짧은 연결 끊김을 겪었다. 12월 17일에는 특정 볼륨, 디렉터리, 파일에서 마운트 실패나 I/O 오류가 났고, 일부 파일과 디렉터리는 한동안 접근할 수 없었다.\n\n12월 17일 02:53 UTC 에는 스토리지 컨트롤 플레인에 영향이 이어지면서 VM 작업이 실패했고, 공유 볼륨을 만들고 고치고 지우는 작업도 실패했다. 같은 날 21:22 UTC 에는 성능이 간헐적으로 흔들리고 연결이 끊겨 돌고 있는 워크로드에 일시적인 오류가 날 수 있었다.\n\n12월 18일에는 대부분의 고객이 정상으로 돌아왔지만 메타데이터 불일치가 남은 일부 고객의 볼륨은 계속 복구해야 했다. 12월 23일 19:52:53 UTC 부터 20:03:47 UTC 까지 약 10분 동안은 모든 공유 볼륨에서 읽기, 쓰기, 업데이트 작업이 실패했다.\n\n12월 26일에는 공유 볼륨 접근에 영향을 주는 새 스토리지 네트워크 문제가 두 번 생겼다. 두 번째 문제는 VM 생성, 시작, 정지, 삭제 작업까지 번졌다. 12월 28일 11:10 UTC 에는 스토리지 구성 요소 여러 개가 예기치 않게 오프라인이 되어 공유 볼륨을 쓸 수 없었고 VM 관리 작업도 막혔다."},"updated_at":"2026-11-14T12:34:07.254629Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0422","org_slug":"crusoe-cloud"}