{"id":"IL-0134","org":"Lambda","date":"2026-02-14","docs":[],"title":{"en":"A power event at Lambda's AUS01 data center rebooted 246 GPU nodes, all spine switches and the VAST storage, failing customer workloads and leaving stale NFS mounts on VMs","ko":"AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다."},"domain":["ai-infra","networking"],"impact":{"scope":"246 GPU nodes, all 4 spine switches, mCPU nodes and VAST storage in AUS01; customer workloads failed; Starbase and other storage-dependent services in us-west-3 were affected; some VMs kept stale or empty NFS mounts","users":"Multiple customers","region":"AUS01 data center; storage-dependent services in us-west-3"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"A power loss that reboots the network spine and the shared storage together with the GPU nodes takes longer to recover than the nodes themselves. The GPU nodes were back quickly, but the fabric was restored first, storage was started only after physical checks, and some VMs were left with stale NFS mounts that customers were told to fix with a VM reboot or, if that was not enough, a hypervisor reboot.","ko":"전원이 끊겨 GPU 노드와 함께 네트워크 스파인과 공유 스토리지까지 재부팅되면, 노드 자체가 다시 뜨는 것보다 전체 복구가 훨씬 오래 걸린다. GPU 노드는 곧 다시 올라왔지만, 팀은 패브릭을 먼저 되살렸고 스토리지는 물리 점검을 마친 뒤에야 다시 올렸다. 일부 VM 에는 stale 상태의 NFS 마운트가 남아, Lambda 는 고객에게 VM 을 재부팅하고 그래도 안 되면 하이퍼바이저를 재부팅하라고 안내했다."},"related":[],"sources":[{"url":"https://status.lambda.com/incidents/01KHF5F5EJ8K9KC7XJS4ESS2BT","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"A power event at Lambda's AUS01 data center cut power and rebooted 246 GPU nodes, all 4 spine switches, the mCPU nodes and the VAST storage infrastructure at 21:06 UTC on 14 February 2026. The GPU nodes came back quickly, but storage had disconnected and customer workloads failed.\n\nEngineers restored the compute fabric and InfiniBand connectivity, bringing all spine switches and most leaf switches back, and restored part of the UPS redundancy while work continued on storage and protected power. They then confirmed that all nodes in AUS01 were powered up with network connectivity, completed physical checks, and moved on to the logical startup of storage, which NFS and the services that depend on it need. Starbase and the other storage-dependent services in us-west-3 were then restored.\n\nWhen the incident was marked resolved, the main remaining problem was VMs with stale or empty NFS mounts. Lambda told affected customers to reboot their VMs to get file system access back, and to reboot the hypervisor if a VM reboot was not enough.","ko":"2026년 2월 14일 21:06 UTC 에 Lambda 의 AUS01 데이터센터에서 전력 문제로 전원이 끊겼다. GPU 노드 246대, 스파인 스위치 4대 전부, mCPU 노드, VAST 스토리지 인프라가 재부팅됐다. 노드는 곧 올라왔지만 스토리지 연결이 끊겨 고객 워크로드가 실패했고, us-west-3 의 Starbase 와 스토리지에 의존하는 다른 서비스도 영향을 받았다.\n\n팀은 먼저 컴퓨트 패브릭과 InfiniBand 연결을 되살리고 UPS 이중화를 일부 복구했다. 이어서 AUS01 의 모든 노드 전원을 올려 네트워크 연결을 되찾고, 물리 점검을 마친 뒤 스토리지를 다시 올렸다. Starbase 와 스토리지 의존 서비스는 정상으로 돌아왔다. 마지막까지 남은 문제는 일부 고객 VM 의 NFS 마운트가 stale 상태이거나 비어 있다는 점이었다. Lambda 는 고객에게 VM 재부팅을 권했다."},"trigger":{"en":"A power event at the AUS01 data center caused a loss of power.","ko":"AUS01 데이터센터에 전력 문제가 생겨 전원이 끊겼다."},"severity":"sev1","symptoms":["gpu-unavailable","storage-disconnected"],"timeline":{"detected_after":null,"resolved_after":null},"date_kind":"incident","detection":null,"components":["datacenter-facility","infiniband","shared-filesystem"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"restored the compute fabric and InfiniBand connectivity, bringing all spine switches and most leaf switches back online","ko":"컴퓨트 패브릭과 InfiniBand 연결을 복구해 스파인 스위치 4대 전부와 대부분의 리프 스위치를 다시 온라인으로 올렸다."}},{"text":{"en":"restored part of the UPS redundancy","ko":"UPS 이중화를 일부 복구하고, 스토리지와 보호 전원을 완전히 되살리는 작업을 이어 갔다."}},{"text":{"en":"powered up all nodes in AUS01, completed physical checks and started the storage back up","ko":"AUS01 의 모든 노드 전원을 올리고 물리 점검을 마친 뒤 스토리지를 다시 올렸다."}},{"text":{"en":"restored Starbase and the other storage-dependent services in us-west-3","ko":"us-west-3 의 Starbase 와 스토리지에 의존하는 다른 서비스를 복구했다."}},{"text":{"en":"told affected customers to reboot their VMs, or the hypervisor if needed, to clear stale or empty NFS mounts","ko":"NFS 마운트가 stale 상태이거나 비어 있는 고객에게 VM 을 재부팅하라고 안내했고, VM 재부팅으로 풀리지 않으면 하이퍼바이저 재부팅이 필요하다고 알렸다."}}],"action_items":[],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"At 21:06 UTC on 14 February 2026 every GPU node in Lambda's AUS01 data center rebooted at the same moment, without warning or plan, affecting multiple customers. The nodes came back online quickly, but the storage they used had disconnected, and customer workloads failed.\n\nThe power loss had rebooted 246 GPU nodes, all 4 spine switches, the mCPU nodes and the VAST storage infrastructure. Lambda restored the compute fabric and InfiniBand connectivity first and started the storage again later.\n\nAfter storage and storage-dependent services were back, some customer VMs still had stale or empty NFS mounts left over from the power event and the mass reboots.","ko":"2026년 2월 14일 21:06 UTC 에 AUS01 데이터센터의 GPU 노드가 모두 동시에 재부팅됐다. 노드는 곧 다시 올라왔지만, 계획에 없던 재부팅이었고 여러 고객이 영향을 받았다.\n\n노드가 쓰던 스토리지도 연결이 끊겨 워크로드가 실패했다. 전원이 나가면서 GPU 노드 246대, 스파인 스위치 4대 전부, mCPU 노드, VAST 스토리지 인프라가 재부팅됐다.\n\n스토리지가 돌아온 뒤에도 대량 재부팅의 영향으로 일부 고객 VM 에는 NFS 마운트가 stale 상태로 남거나 비어 있었다. stale 상태는 마운트 지점은 남아 있지만 NFS 서버의 파일에 더 이상 접근할 수 없는 상태를 말한다."},"updated_at":"2026-11-09T11:55:49.980080Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0134","org_slug":"lambda"}