{"id":"IL-0135","org":"Crusoe Cloud","date":"2023-11-15","docs":[],"title":{"en":"A power source switch during UPS maintenance cut power to a row of GPU servers and shut down Crusoe Cloud VMs in us-northcentral1","ko":"UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다."},"domain":["ai-infra"],"impact":{"scope":"GPU virtual machines on one row of servers, a percentage of the VMs in the region","users":"unknown","region":"us-northcentral1 (us-northcentral1-a)"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":{"en":"When the only UPS for a row is in bypass for maintenance, the row is exposed to any power event during that window, even one unrelated to the work. Crusoe Cloud's response is redundant UPSs in future data centers, a review of maintenance procedures, and faster recovery of VMs after power returns.","ko":"UPS 를 바이패스 모드로 둔 점검 시간에는 그 열에 전원 전환을 받아 줄 장치가 없다. 하나뿐인 UPS 가 점검 중일 때 다른 이유로 전원이 바뀌자 열 전체가 꺼졌고, 그래서 Crusoe 는 새 데이터센터에 이중 UPS 를 두기로 했다."},"related":[],"sources":[{"url":"https://status.crusoecloud.com/incidents/b610v0ztbszg","kind":"official-status","license":"unknown","archived":null}],"summary":{"en":"Crusoe Cloud was carrying out routine maintenance on the UPS serving one row of servers in a us-northcentral1 data center. To allow work on the UPS without interrupting power to the row, the UPS was put into bypass mode. During the maintenance window, power switched from the primary source to a backup source for unrelated reasons. With the UPS bypassed, nothing regulated the switchover, so the row lost power and all its servers shut down, stopping a percentage of the region's VMs.\n\nTeams identified the affected VMs and restarted them as soon as power was restored. Service came back in stages, and the final VM was restarted at 00:20 UTC on 16 November 2023, 3 hours 49 minutes after the power failure. Crusoe Cloud said its future data centers will have redundant UPSs so this situation cannot recur, and that it is reviewing its UPS maintenance procedures.","ko":"2023년 11월 15일 Crusoe Cloud 의 us-northcentral1 리전 데이터센터 한 열에서 UPS 정기 점검이 진행 중이었다. 팀은 점검하려고 UPS 를 바이패스 모드로 두었다. 이 모드는 그 열의 전원을 끊지 않고 UPS 를 손볼 수 있게 한다.\n\n점검 중에 다른 이유로 전원이 주 전원에서 예비 전원으로 넘어갔다. 이 전환을 받아 줄 UPS 가 빠져 있었기 때문에 그 열이 정전됐고, 서버가 모두 꺼지면서 그 안의 GPU VM 도 꺼졌다. 팀은 영향받은 VM 을 찾아내고 전원이 돌아오자 재시작했으며, 마지막 VM 은 11월 16일 00:20 UTC 에 다시 켜졌다.\n\nCrusoe 는 UPS 점검 표준 운영 절차를 검토하고, 앞으로 짓는 데이터센터에는 UPS 를 이중으로 두겠다고 밝혔다."},"trigger":{"en":"While the row's UPS was in bypass mode for routine maintenance, power switched from the primary source to a backup source for reasons unrelated to the maintenance.","ko":"UPS 를 바이패스 모드로 두고 정기 점검을 하던 중, 점검과 관계없는 이유로 전원이 주 전원에서 예비 전원으로 넘어갔다."},"severity":"unknown","symptoms":["gpu-unavailable","service-unavailable"],"timeline":{"detected_after":"36m","resolved_after":"3h 49m"},"date_kind":"incident","detection":{"en":"The power failure happened at 20:31 UTC. The first status post, at 21:07 UTC, said certain VMs in us-northcentral1-a were unavailable, and at 21:31 UTC the status page said the affected VMs had been identified.","ko":"정전은 20:31 UTC 에 났고, 21:07 UTC 에 상태 페이지가 us-northcentral1-a 의 일부 VM 을 쓸 수 없다고 처음 알렸다. 21:31 UTC 에는 영향받은 VM 을 찾아냈다고 올렸다."},"components":["datacenter-facility"],"root_cause":"dependency-failure","remediation":[{"text":{"en":"identified the VMs on the row that lost power","ko":"팀이 정전으로 영향받은 VM 을 찾아냈다."}},{"text":{"en":"restarted the affected VMs after power was restored","ko":"전원이 돌아온 뒤 영향받은 VM 을 차례로 재시작했고, 마지막 VM 은 11월 16일 00:20 UTC 에 다시 켜졌다."}}],"action_items":[{"text":{"en":"Review the standard operating procedures for UPS maintenance to minimise customer impact during future maintenance","ko":"앞으로 점검할 때 고객에게 영향이 갈 가능성을 최소로 줄이도록 UPS 점검 표준 운영 절차를 검토한다."}},{"text":{"en":"Build future data centers with redundant UPSs","ko":"앞으로 짓는 데이터센터에는 UPS 를 이중으로 둔다."}},{"text":{"en":"Improve recovery procedures to reduce mean time to resolution","ko":"장애가 났을 때 평균 해결 시간인 MTTR 을 더 줄이도록 복구 절차를 계속 개선한다."}}],"contributing":["single-point-of-failure","overlapping-failures"],"recurrence_of":null,"symptoms_text":{"en":"At 20:31 UTC on 15 November 2023, some GPU virtual machines in us-northcentral1-a became unavailable. One row of servers in a Crusoe Cloud data center in the us-northcentral1 region had lost power, and every server in the row powered off together with the VMs running on it.\n\nThe status page reported certain VMs in us-northcentral1-a as unavailable at 21:07 UTC. The team identified the affected VMs and started restarting them once power was back; by 23:05 UTC most were running again, and the last VM was restarted at 00:20 UTC on 16 November.","ko":"2023년 11월 15일 20:31 UTC 에 us-northcentral1 리전 데이터센터의 한 열에서 정전이 나 그 리전 VM 의 일부가 꺼졌다. 상태 페이지는 us-northcentral1-a 의 일부 VM 을 쓸 수 없다고 알렸다.\n\n그 열의 서버가 모두 꺼지면서 서버 안에서 돌던 GPU VM 도 함께 꺼졌다. 팀은 영향받은 VM 을 찾아낸 뒤 전원이 돌아오자 VM 을 다시 켜기 시작했다. 22:32 UTC 에 일부, 23:05 UTC 에 대부분을 되살렸고, 마지막 VM 은 11월 16일 00:20 UTC 에 재시작됐다."},"updated_at":"2026-11-10T00:00:35.407805Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0135","org_slug":"crusoe-cloud"}